엔비디아(CEO 젠슨 황)가 실제 세계 데이터로 직접 시뮬레이션을 구축하는 새로운 AI 기반 툴인 엔비디아 드라이브 심(NVIDIA DRIVE Sim)을 개발했다고 밝혔다. 이는 신경 재구성 엔진으로, 시뮬레이션 플랫폼의 새로운 AI 툴 세트이다.

자율 자동차 시뮬레이션은 두 가지 난제를 풀어야 한다. 첫째는 AI 운전자가 시뮬레이션을 실제같이 인식할 정도로 충분히 세부적이고 사실적인 세상을 만드는 일이고, 둘째는 완벽하게 훈련되고 테스트될 필요가 있는 사례 모두를 담을 만큼 충분히 큰 규모의 시뮬레이션을 만드는 일이다.

엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 GTC 키노트에서 해결책을 선보였다. 

이번 연구에는 지난달 열린 컴퓨터그래픽 컨퍼런스인 시그라프에서 처음 발표된 수상작들이 포함돼 있다.

신경 재구성 엔진
신경 재구성 엔진은 여러 AI 네트워크를 사용해 녹화된 비디오 데이터를 시뮬레이션으로 변환시킨다. 

이 새로운 파이프라인은 AI를 통해 환경, 3D 애셋, 시나리오 등등 시뮬레이션에 필요한 핵심 구성 요소를 자동으로 추출한다. 이후 이런 요소들은 데이터 기록의 현실 같은 모습을 갖추고, 완전히 반응적이며 필요에 따라 조작 가능한 시뮬레이션 장면으로 재구성된다. 이 정도로 세부적이고 다양한 시뮬레이션을 수작업으로 구성하려면 비용과 시간이 많이 들고 확장성이 떨어진다.

환경과 에셋
시뮬레이션은 작동하기 위한 환경이 필요하다. 이 신경 재구성 엔진은 실제 세계에서 얻은 2D 영상 데이터를 드라이브 심에 로딩할 수 있는 동적인 3D 디지털 트윈 환경으로 변환시킨다.

 
AI를 이용해 녹화된 주행 데이터로부터 생성된 3D 시뮬레이션 환경
드라이브 심 AI 파이프라인은 다른 3D 애셋을 재구성하기 위해 유사한 프로세스를 따른다. 엔지니어는 애셋을 사용해 현재 장면을 재구성하거나 모든 시뮬레이션에서 쓸 수 있는 큰 애셋 라이브러리를 배치할 수 있다.

에셋을 수집하는 이런 파이프라인을 사용하는 것이 드라이브 심 라이브러리를 확장하고 반드시 실제 세계의 다양성과 분포에 맞게 만드는 데 중요하다.

시나리오
시나리오는 에셋과 결합된 환경에서 시뮬레이션 중에 발생하는 사건들을 말한다.

신경 재구성 엔진은 장면에 나오는 행위자에게 AI 기반 행동을 할당하여 원래의 사건들과 함께 제시될 때 실제 주행에서처럼 정확히 똑같이 움직이게 한다. 하지만 행위자들에게는 AI 행동 모델이 있기 때문에, 시뮬레이션 내에서 행위자들은 시청각(AV)이나 다른 장면 요소에 따른 변화에 반응하고 대응할 수 있다.

이런 시나리오들은 모두 시뮬레이션에서 발생하기 때문에 새로운 상황을 추가하기 위해 조작될 수도 있다. 사건의 타이밍과 위치도 변경할 수 있다. 개발자는 심지어 합성됐거나 실제적으로 완전히 새로운 요소들을 통합해 사건을 더 복잡하게 구현할 수 있다. 아래 장면에서처럼 아이가 공을 쫓는 사건을 첨가하는 경우도 그런 경우이다.
 

드라이브 심으로의 통합
환경, 에셋, 시나리오가 일단 추출된 후에는 드라이브 심에서 재조립되어 기록된 장면의 3D 시뮬레이션을 생성하거나 다른 애셋과 혼합되어 완전히 새로운 장면을 생성한다. 드라이브 심은 개발자가 동적이거나 정적인 객체, 차량 경로, 차량 센서의 위치, 방향 및 매개 변수를 조정할 수 있는 툴을 제공한다.

드라이브 심의 동일한 장면은 인식 시스템을 훈련시키기 위해 미리 레이블이 지정된 합성 데이터를 생성하는 데에도 사용된다. 훈련 데이터에 다양성을 추가하기 위해 재생성된 장면에 무작위화가 적용된다. 실제 세상 데이터로 장면을 만들면 시뮬레이션과 실제 세상 간의 차이가 크게 줄어든다.

시뮬레이션 형식을 혼합하고 일치시킬 수 있는 기능은 시청각을 규모에 맞게 종합적으로 테스트하고 검증하는 데 중요한 강점이 된다. 엔지니어는 반응성이 뛰어나고 요구에 정확히 부합하는 세상에서 사건들을 다룰 수 있다.

신경 재구성 엔진은 엔비디아의 연구팀이 작업한 결과물로, 향후 드라이브 심 릴리스에 통합될 예정이다. 이를 통해 개발자는 동일한 클라우드 기반 플랫폼에서 물리 기반 시뮬레이션과 신경 기반 시뮬레이션을 모두 활용할 수 있게 됐다.