엔비디아(CEO 젠슨 황)가 엔비디아 옴니버스 아바타 클라우드 엔진(NVIDIA Omniverse ACE. 이하 에이스)의 얼리 액세스 프로그램 등록이 시작됐다고 밝혔다. 에이스는 지능형 가상 비서와 디지털 인간을 규모에 따라 쉽게 구축하고 배치할 수 있는 클라우드 네이티브(cloud-native) AI 마이크로 서비스 제품군이다.

옴니버스 에이스는 아바타 개발을 용이하게 한다. 또한 사실상 모든 엔진에 구축되고 모든 클라우드에 배치되는 아바타에 지능과 애니메이션을 추가할 때 필요한 AI 구성 요소를 제공한다. 이와 같은 AI 비서는 산업 전반에 걸쳐 조직을 위해 설계될 수 있다. 따라서 조직은 기존 워크플로우를 개선하고 새로운 비즈니스 기회를 창출할 수 있다.

에이스는 크리에이터가 3D 세계와 메타버스의 개발을 가속화하는 데 도움을 주는 생성 AI 애플리케이션 중 하나이다. 프로그램에 참여하는 회원은 대화형 아바타 애플리케이션을 위한 클라우드 네이티브 AI 워크플로우 개발에 필요한 툴링(tooling)과 문서, 엔비디아 AI 마이크로서비스의 사전 릴리스 버전에 액세스할 수 있다.

옴니버스 에이스로 대화형 AI 아바타 구현

아바타 개발 시 전문 지식과 특수 장비, 많은 수작업이 요구되는 워크플로우가 필요한 경우가 많다. 옴니버스 에이스를 사용하면 엔비디아의 AI 기술을 사용해 쉽게 아바타를 만들 수 있다. 즉, 사전 구축된 모델과 도구 세트, 도메인별 참조 애플리케이션을 비롯한 엔비디아 AI 기술을 공용 또는 개인 클라우드에 배포되고 대부분의 엔진에 구축되는 아바타 애플리케이션에 원활하게 통합할 수 있다. 

옴니버스 에이스는 지난 9월 처음 공개된 이후 얼리 피드백을 위해 엄선된 파트너들에게 공유됐다. 현재 엔비디아는 마이크로서비스에 대한 피드백 제공을 비롯해 제품 개선을 위해 협력하고, 실제와 같은 대화형 디지털 인간으로 가능한 것의 한계를 극복할 수 있는 파트너를 물색하고 있다.

얼리 액세스 프로그램에는 에이스 애니메이션 AI와 대화형 AI 마이크로서비스의 사전 릴리스 버전에 대한 액세스가 포함된다:

- 타사 아바타용 3D 애니메이션 AI 마이크로서비스는 옴니버스 오디오투페이스(Audio2Face) 생성형 AI를 이용해 오디오 파일만으로 사실적인 얼굴 애니메이션을 만들 수 있다. 이를 통해 언리얼 엔진(Unreal Engine)을 비롯한 기타 렌더링 도구에서 캐릭터에 생명을 불어넣는다.

- 라이브 초상화(Live Portrait)라고도 불리는 2D 애니메이션 AI 마이크로서비스는 라이브 비디오 피드를 사용해 양식화된 인간의 얼굴이나 2D 초상화를 쉽게 애니메이션화 할 수 있다.

- 텍스트 음성 변환 마이크로서비스는 엔비디아 리바(Riva) TTS를 사용해 음성 패턴이나 리듬과 같은 추가 정보 없이도 처음 스크립트에서 자연스러운 음성을 합성한다.

또한 프로그램 회원은 툴링과 샘플 참조 애플리케이션, 지원 리소스에 대한 액세스 권한을 보유해 시작 시 도움을 받을 수 있다.

업계에서 두각을 나타내는 아바타

옴니버스 에이스는 산업 전반에 걸쳐 경험을 향상시키는 대화형 디지털 휴먼을 구축할 수 있도록 도와준다. 에이스에 포함된 기능은 아래와 같다:

- 최소한의 전문 지식만으로도 캐릭터에 생명을 불어넣을 수 있는 쉬운 캐릭터 애니메이션

- 클라우드에 배포할 수 있는 기능으로 퀵서비스(quick-service) 레스토랑 키오스크, 태블릿, 가상현실(VR) 헤드셋 등 어디에서나 아바타 사용 가능

- 엔비디아 UCF(Unified Compute Framework)를 기반으로 구축된 플러그-앤-플레이(plug-and-play) 제품군은 엔비디아 AI와 다른 솔루션의 상호 운용성을 지원해 각 사용 사례에 적합한 최첨단 AI 보장

레디 플레이어 미(Ready Player Me)와 에픽 게임즈(Epic Games) 등의 파트너들은 옴니버스 에이스가 AI 아바타의 워크플로우를 어떻게 향상시킬 수 있는지 이미 경험했다.

옴니버스 에이스 애니메이션 AI 마이크로 서비스는 크로스 게임 아바타 구축 플랫폼인 레디 플레이어 미의 3D 캐릭터를 지원한다.

레디 플레이어 미의 CEO 겸 공동설립자 팀무 토케(Timmu Tõke)는 “디지털 아바타는 우리 일상의 중요한 부분이 되고 있다. 사람들은 게임, 가상 이벤트, 소셜 앱, 심지어 메타버스에 진입하기 위해 아바타를 사용하고 있다. 우리는 개발자들이 앱과 게임에 쉽게 통합하고 사용자들이 하나의 아바타를 만들어 다양한 세계를 탐험할 수 있도록 하는 완벽한 아바타 시스템을 구축하는 데 7년의 시간이 소요됐다. 엔비디아 옴니버스 에이스를 사용하면 이제 캐릭터에 보다 쉽게 생명을 불어넣을 수 있을 것”이라고 말했다.

에픽 게임즈의 진보된 메타휴먼(MetaHuman) 기술은 현실적이고 높은 정확도를 갖춘 디지털 인간 창조의 패러다임을 변화시켰다. 옴니버스 에이스는 메타휴먼 프레임워크에 결합돼 사용자가 매력적인 3D 아바타를 설계·배치하는 것을 더욱 쉽게 만들어준다.

한편, 디지털 인간이 대화만 해야 한다는 것은 편견이다. AI 아바타 토이 젠슨(Toy Jensen)처럼 가수가 될 수도 있다. 엔비디아의 크리에이티브 팀은 옴니버스 에이스로 가수의 목소리를 추출해 토이 젠슨의 목소리로 변환해 신속하게 토이 젠슨의 홀리데이 공연을 제작했다. 이 때 아바타가 원래의 아티스트와 같은 음높이와 같은 리듬으로 노래할 수 있도록 했다.

많은 크리에이터들이 브이튜빙(VTuving)에 도전하고 있다. 브이튜빙은 라이브 스트리밍의 새로운 방법으로, 사용자는 2D 아바타를 구현하고 시청자와 상호 작용할 수 있다. 크리에이터들은 옴니버스 에이스를 통해 사진과 스타일리시한 얼굴을 포함한 2D 애니메이션에서 3D로 아바타를 이동할 수 있다. 한편 사용자는 클라우드에서 아바타를 렌더링하고 어디서든 캐릭터를 애니메이션화할 수 있다.

또한 엔비디아 토키오(Tokkio) 레퍼런스 애플리케이션이 확장되고 있다. 초기 파트너들은 통신, 은행 등의 업계를 위한 클라우드 네이티브 고객 서비스 아바타를 구축하고 있다.

얼리 액세스 프로그램 참여

아바타와 가상 비서를 구축하는 개발자 및 팀은 옴니버스 에이스에 대한 얼리 액세스가 가능하다.