엔비디아가 다양한 산업 분야의 선도적인 AI 애플리케이션 개발자들에게 엔비디아(NVIDIA) 디지털 휴먼 기술을 지원한다고 밝혔다. 이를 통해 개발자들은 상용 애플리케이션과 역동적인 게임 캐릭터를 위한 사실적인 아바타를 제작할 수 있다.

이와 관련한 결과물은 이번 주 미국 캘리포니아주 새너제이에서 개최되는 글로벌 AI 콘퍼런스인 GTC에서 전시되며, 히포크라틱 AI(Hippocratic AI), 인월드 AI(Inworld AI), 유니큐(UneeQ) 등의 기술 시연을 통해 만나볼 수 있다.

음성과 애니메이션용 엔비디아 아바타 클라우드 엔진(ACE), 언어용 엔비디아 네모(NeMo™), 레이 트레이싱 렌더링용 엔비디아 RTX™는 개발자가 AI 기반의 자연어 상호작용이 가능한 디지털 휴먼을 제작해 보다 사실적이고 매력적인 대화를 나눌 수 있도록 하는 빌딩 블록이다.

엔비디아의 개발자와 성능 기술 부문 부사장인 존 스피처(John Spitzer)는 "엔비디아는 개발자들에게 디지털 휴먼 제작을 위한 세계 최고 수준의 AI 기반 기술 세트를 제공한다. 이러한 기술로 디지털 상호 작용을 현실감 있게 만드는 데 필요한 복잡한 애니메이션과 대화형 음성을 구동할 수 있다"고 말했다.

세계 최고 수준의 디지털 휴먼 기술
디지털 휴먼 기술 제품군에는 AI 기반 언어, 음성, 애니메이션, 그래픽이 포함된다.

엔비디아 ACE —개발자가 엔비디아 오디오투페이스(Audio2Face™) 기반의 얼굴 애니메이션과 엔비디아 리바(Riva) 자동 음성 인식(ASR)과 텍스트 음성 변환(TTS) 기반의 음성으로 디지털 휴먼에 생명을 불어넣을 수 있도록 지원하는 기술이다. ACE 마이크로서비스는 로컬 GPU 성능에 따라 모델을 클라우드와 PC에서 유연하게 실행할 수 있어 사용자에게 최상의 경험을 제공한다.

엔비디아 네모 —정밀한 데이터 큐레이션, 최첨단 커스터마이징, 검색 증강 생성(RAG)과 가속화된 성능을 통해 개발자가 엔터프라이즈급 생성형 AI 모델을 제공할 수 있는 엔드투엔드 플랫폼이다.

엔비디아 RTX —게임과 애플리케이션에서 실시간 경로 추적을 지원하는 RTX 글로벌 일루미네이션(RTXGI), DLSS 3.5와 같은 렌더링 기술 모음이다.
 
디지털 휴먼과 가상 비서를 위한 빌딩 블록
엔비디아는 디지털 휴먼 기술의 새로운 기능을 선보이기 위해 히포크라틱 AI, 인월드 AI, 유니큐 등 업계 최고의 개발사들과 협력해 새로운 데모를 연이어 선보였다.

히포크라틱 AI는 안전에 중점을 둔 LLM 기반의 업무별 헬스케어 에이전트를 개발했다. 이 에이전트는 환자와 전화 통화, 진료 조정 업무, 수술 전 지침 전달, 퇴원 후 관리 등을 수행한다. 엔비디아는 GTC에서 히포크라틱 AI와 협력을 통해 엔비디아 ACE 마이크로서비스, 엔비디아 오디오투페이스, 엔비디아 애니메이션 그래프, 엔비디아 옴니버스 스트리머 클라이언트(Omniverse™ Streamer Client)를 사용할 수 있도록 솔루션을 확장해 생성형 AI 의료 에이전트 아바타의 가능성을 보여줬다.

히포크라틱 AI의 공동 창립자 겸 CEO 문잘 샤(Munjal Shah)는 "히포크라틱 AI의 디지털 비서는 전 세계 환자들에게 유용하고 시의적절하며 정확한 정보를 제공한다. 엔비디아 ACE 기술은 최첨단 비주얼과 사실적인 애니메이션을 통해 환자와 더 잘 소통할 수 있도록 돕는다"고 말했다.

유니큐는 고객 서비스와 인터랙티브 애플리케이션을 위한 AI 기반 아바타 제작에 특화된 자율 디지털 휴먼 플랫폼이다. 이 회사의 디지털 휴먼은 온라인에서 브랜드를 대변하며 고객과 실시간으로 소통해 구매에 대한 확신을 심어준다. 유니큐는 엔비디아 오디오투페이스 마이크로서비스를 자사 플랫폼에 통합하고 이를 시나님 ML(Synanim ML)과 결합해 고객 경험과 참여도를 높이기 위한 매우 사실적인 아바타를 제작했다.

유니큐의 창립자 겸 CEO 대니 톰셋(Danny Tomsett)은 "유니큐는 엔비디아 애니메이션 AI와 자체 시나님 ML 합성 애니메이션 기술을 결합해 감정을 가지고 반응하는 실시간 디지털 인간 상호작용을 제공하고 대화형 AI를 기반으로 역동적인 경험을 선사한다"고 말했다.

게임에 역동적인 논플레이어 캐릭터 구현하기
엔비디아 ACE는 게임 캐릭터에 생동감을 불어넣기 위해 설계된 기술 모음이다. 인월드 AI가 엔비디아와 협력해 만든 새로운 기술 데모인 코버트 프로토콜(Covert Protocol)은 게임 내 캐릭터 상호 작용의 한계를 뛰어넘었다. 인월드의 AI 엔진은 정확한 음성 텍스트 변환을 위한 엔비디아 리바와 사실적인 얼굴 연기를 제공하는 엔비디아 오디오투페이스를 통합했다.

인월드의 AI 엔진은 논플레이어 캐릭터(NPC)의 성능에 멀티모달 방식을 도입하여 인지, 인식과 행동 시스템을 통합한다. 이를 통해 아름답게 제작된 환경을 배경으로 놀라운 RTX 렌더링 캐릭터와 함께 몰입형 내러티브를 구현한다.

인월드 AI의 CEO 카일란 깁스(Kylan Gibbs)는 "엔비디아 ACE 마이크로서비스와 인월드 엔진의 결합으로 개발자는 역동적인 내러티브를 이끌어갈 수 있는 디지털 캐릭터를 제작할 수 있게 됐다. 또한 게이머가 해독, 추론, 플레이하는 방식에 새로운 가능성을 열었다"고 말했다.

전 세계 주요 게임 퍼블리셔들이 엔비디아 ACE가 게임 경험을 어떻게 개선할 수 있는지 평가하고 있다.

ACE를 도입하는 의료, 게임, 금융 서비스, 미디어 및 엔터테인먼트, 소매 분야 개발사
최고의 게임과 디지털 휴먼 개발사들은 게임과 애플리케이션에서 플레이어와 NPC 간의 상호작용을 혁신하기 위해 ACE와 생성형 AI 기술을 선도적으로 사용하고 있다.

ACE를 도입한 개발사와 플랫폼으로는 컨베이(Convai), 사이버에이전트(Cyber Agent), 데이터몬스터즈(Data Monsters), 딜로이트(Deloitte), 히포크라틱AI, IGOODI, 인월드 AI, 미디어몽크스(Media.Monks), 미호요(miHoYo), 넷이즈 게임즈(NetEase Games), 퍼펙트월드(Perfect World), 오픈스트림(Openstream), 아워팜(OurPalm), 퀀티파이(Quantiphi), 라쿠텐증권(Rakuten Securities), 슬라럼(Slalom), 소프트서브(SoftServe), 텐센트(Tencent), 탑헬스테크(Top Health Tech), 유비소프트(Ubisoft), 유니큐, 유니온아바타(Unions Avatars)가 있다.

여기에서 엔비디아 ACE에 대한 자세한 내용을 확인할 수 있다. 플랫폼 개발자는 디지털 휴먼 기술 전체 제품군 또는 개별 마이크로 서비스를 제품에 통합할 수 있다.

개발자는 개발 중인 AI 모델을 사용할 수 있는 얼리 액세스 프로그램을 신청해 엔비디아 ACE에서 여정을 시작할 수 있다.

사용 가능한 모델을 살펴보려는 개발자는 여기에서 생성형 AI의 배포를 가속화하도록 설계된 사용하기 쉬운 마이크로서비스 모음인 리바와 오디오투페이스용 엔비디아 NIM을 사용하고 평가할 수 있다.