엔비디아가 3D 객체 생성을 위한 엔비디아 AI 블루프린트(NVIDIA AI Blueprint for 3D object generation)를 공개했다. 이는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있도록 지원한다.

3D 아티스트들은 끊임없는 프로토타이핑 작업 문제에 직면하고 있다. 전통적인 워크플로우에서는 3D 장면 구현을 위해 저충실도 임시 에셋을 제작하고, 핵심 요소가 제자리에 배치될 때까지 수정을 반복해야 하기 때문이다. 그 후에야 시각적 요소를 세부적으로 다듬어 완성할 수 있다.

이렇게 프로토타이핑은 시간이 많이 소요되고 종종 불필요한 작업을 수반한다. 그 결과 아티스트들은 창의적인 작업보다 지루한 모델링 작업에 더 많은 시간을 할애해야 한다.

생성형 AI는 장면 프로토타이핑을 위한 초안을 제안하거나 객체를 생성하는 등 중간 작업을 신속히 처리해 아티스트를 돕는다. 그러나 이러한 가속화된 워크플로우를 구현하기 위해 여러 AI 모델을 연결하는 일은 기술적으로 복잡할 수 있다.

엔비디아 AI 블루프린트는 샘플 워크플로우를 제공해 사용자가 복잡한 기술 단계를 건너뛰고 고급 생성형 AI 기술을 빠르게 활용할 수 있도록 지원한다. 또한 AI 블루프린트는 각 사용자의 요구에 맞게 조정될 수 있다.

엔비디아가 이번에 새로 공개한 AI 블루프린트는 3D 아티스트가 간단한 텍스트 프롬프트만으로 최대 20개의 3D 객체를 생성해 특정 장면의 프로토타입을 만들 수 있게 해주는 워크플로우다.

또한 새로운 마이크로소프트 트렐리스(Microsoft TRELLIS) 엔비디아 NIM 마이크로서비스는 3D 객체 생성을 위한 AI 블루프린트 내에서 작동하며, 기존 모델보다 20% 빠른 속도로 고품질 3D 에셋을 생성한다.

생성, 프로토타입, 반복

아이디어의 탄생에서 시작하는 3D 프로젝트는 테마, 장소, 장식, 색상, 질감 등 시각적 세부 요소를 신중히 고려하는 과정을 거친다. 장면에 에셋을 배치한 후에도 개별 또는 전체 시각 요소를 여러 차례 검토하고 수정해야 한다.

3D 객체 생성을 위한 엔비디아 AI 블루프린트는 프로토타이핑 과정을 자동화하는 파이프라인을 제공한다. 사용자가 프롬프트로 예술적인 아이디어를 입력하면, 블루프린트에 내장된 거대 언어 모델(large language model, LLM)이 장면에 포함 가능한 20개의 객체를 제안한다. 이는 라마 3.1 8B(Llama 3.1 8B) 엔비디아 NIM 마이크로서비스로 가속화된다.

3D 객체 생성을 위한 AI 블루프린트로 생성된 샘플 객체 프리뷰

엔비디아 사나(SANA)는 고해상도 이미지를 빠르게 합성하는 텍스트-이미지 프레임워크로, 생성 가능한 객체를 보여주는 프리뷰를 생성한다. 각 객체는 재생성, 수정, 삭제가 가능해 아티스트의 자유로운 창작 활동을 지원한다.

이후 아티스트는 새로운 마이크로소프트 트렐리스 엔비디아 NIM 마이크로서비스를 통해 각 객체를 고품질 프리뷰에서 즉시 활용 가능한 3D 모델로 변환할 수 있다. 이 마이크로서비스는 최첨단 모델의 배포를 간소화하고 속도를 20% 향상시킨다.

또한 최대 20개의 3D 에셋 모음은 즉시 사용하거나 오픈 소스 3D 플랫폼 블렌더(Blender)에서 추가로 다듬을 수 있도록 준비된다. AI 블루프린트는 이를 자동으로 블렌더로 내보내며, 아티스트는 다른 인기 3D 애플리케이션으로도 에셋을 내보낼 수 있다.

아울러 라마 3.1 8B NIM 마이크로서비스로 구동되는 LLM은 장면에 포함할 객체의 아이디어와 프롬프트 제안을 생성할 수 있다. 따라서 프롬프트 경험이 많지 않은 아티스트도 창의적인 생산성을 높일 수 있다.

블렌더의 3D 장면이 3D 객체 생성을 위한 AI 블루프린트가 생성한 객체들로 채워져 있다
 

일반적으로 이러한 워크플로우를 설정하려면 많은 시간과 기술적 지식이 필요하며, 적합한 파이프라인을 선택하기 위해 다양한 모델을 실험해야 한다. 엔비디아 AI 블루프린트는 검증된 워크플로우를 사전에 선별해 패키징된 형태로 제공함으로써, 엔비디아 지포스 RTX(GeForce RTX)와 RTX PRO GPU에서의 배포를 단순화하고 시작 과정을 간소화한다.

마이크로소프트 트렐리스

마이크로소프트 리서치(Microsoft Research)가 개발한 최첨단 3D 에셋 생성 모델인 마이크로소프트 트렐리스는 텍스트나 이미지 프롬프트를 기반으로 복잡한 형태와 질감을 갖춘 정교한 3D 에셋을 생성할 수 있다.

이는 프리뷰가 가능한 머티리얼(material)과 제품 수준의 객체를 생성할 수 있어 게임 디자인, 건축, 디지털 미디어 제작 분야에서 특히 유용하다.

보통 소비자용으로 제공되는 고품질 텍스트-이미지 3D 모델은 설정이 까다로운 편이다. 마이크로소프트 트렐리스 NIM 마이크로서비스는 3D 객체 생성을 위한 엔비디아 AI 블루프린트에 원활하게 통합돼 아티스트의 작업 시간을 크게 절약해준다.

마이크로소프트 트렐리스 NIM 마이크로서비스는 블루프린트 내에서 사용될 때 파이토치(PyTorch) 최적화를 통해 20% 더 빠른 속도로 작동한다. 또한 엔비디아 지포스 RTX 5090 GPU에서 객체 하나를 생성할 때 평균 6초를 절약할 수 있다. 수십 개의 장면에 걸쳐 수백 개의 에셋을 생성하는 3D 프리랜서에게 이는 엄청난 시간 절약이다.

마이크로소프트 트렐리스 NIM 마이크로서비스는 16GB 이상 엔비디아 지포스 RTX 50 시리즈와 40 시리즈 GPU가 장착된 데스크톱과 노트북에서 지원된다.

준비, 목표, 배포

3D 객체 생성을 위한 엔비디아 AI 블루프린트는 다음 단계에 따라 시작할 수 있다.

- 모델을 포함한 블루프린트를 불러온다.
- 간단한 장면 아이디어를 입력한다. (예: ‘야시장’, ‘해변의 맑은 날’)
- 20개의 이미지 프리뷰가 자동으로 생성된다.
- 원치 않는 객체는 이미지 하단의 새로고침 아이콘을 클릭해 교체한다.

팁: 연필 아이콘을 클릭해 원본 프롬프트를 수정하면 교체 이미지를 더 세밀하게 제어할 수 있다.

- 불필요한 객체는 이미지 하단의 휴지통 아이콘을 클릭해 삭제한다.
- 원하는 이미지는 ‘->3D’ 아이콘을 클릭해 변환한다.
- ‘전체 3D 변환(Convert all to 3D)’ 버튼을 클릭해 모든 프리뷰를 한 번에 3D로 변환한다.

팁: ‘새 장면 프롬프트로 시작(Start over with a new scene prompt)’ 버튼을 클릭해 새 장면을 시작할 수 있다. 현재 진행 중인 작업은 삭제되므로 반드시 먼저 저장해야 한다.

페이지 하단에 내장된 버튼으로 파일을 블렌더로 내보내 3D 모델을 계속 다듬는다.
 

자세한 설명과 필요한 파일은 엔비디아 빌드(NVIDIA Build)와 깃허브(GitHub)에서 확인할 수 있다.

아울러 3D 가이드 생성형 AI를 위한 AI 블루프린트(AI Blueprint for 3D-guided generative AI)와 NIM 마이크로서비스를 포함한 전문적으로 엄선된 AI 블루프린트를 지금 살펴볼 수 있다.

한편, IFA 2025 참가자들은 9월 6일 오후 2시(현지시간) 진행되는 ‘AI가 콘텐츠 제작을 바꾸는 방식(How AI Is Changing Content Creation)’ 세션에 참석할 수 있다. 해당 세션에서는 엔비디아 전문 시각화 기술 마케팅 디렉터인 션 킬브라이드(Sean Kilbride)를 비롯한 패널들이 크리에이터가 AI를 워크플로우에 통합해 새로운 창작 방식을 모색하고, 제작 속도를 높이며 콘텐츠 제작의 한계를 확장하는 방안을 논의할 예정이다.

매주 RTX AI 개러지(RTX AI Garage) 블로그 시리즈에서는 커뮤니티가 주도하는 AI 혁신과 콘텐츠를 통해, NIM 마이크로서비스와 AI 블루프린트에 대해 자세히 알아보고 있다. 또한, AI PC와 워크스테이션에서 AI 에이전트, 크리에이티브 워크플로우, 생산성 앱 등을 구축하려는 사람들을 위한 정보를 제공한다.

RTX AI PC 뉴스레터를 구독하거나 페이스북(Facebook), 인스타그램(Instagram), 틱톡(TikTok), X 채널을 구독해 최신 소식을 받아볼 수 있다. 엔비디아의 디스코드(Discord) 서버에 참여하면 커뮤니티 개발자, AI 애호가와 함께 RTX AI의 가능성을 토론해 볼 수 있다.

엔비디아 워크스테이션(NVIDIA Workstation)의 링크드인(LinkedIn), X 채널에서도 관련 소식을 확인할 수 있다.