엔비디아(CEO 젠슨 황)가 VM웨어(VMWare)와 전략적 파트너십을 확대한다고 발표했다. 이 협력을 통해 VM웨어 프라이빗 AI 파운데이션을 출시할 예정이다. 이로써 VM웨어 클라우드 인프라에서 지원되는 수십만 개의 기업은 생성형 AI 시대에 대비할 수 있다.

VM웨어 프라이빗 AI 파운데이션(Private AI Foundation)은 기업이 지능형 챗봇, 어시스턴트, 검색과 요약 등 모델을 맞춤화하고 생성형 AI 애플리케이션을 사용할 수 있도록 지원한다. 완전히 통합된 이 솔루션은 AI에 최적화된 VM웨어 클라우드 파운데이션(Cloud Foundation)을 기반으로 구축된 엔비디아 생성형 AI 소프트웨어와 가속 컴퓨팅을 특징으로 한다.

VM웨어의 CEO인 라구 라구람(Raghu Raghuram)은 “생성형 AI와 멀티 클라우드는 완벽한 조합이다. 고객 데이터는 데이터센터, 엣지, 클라우드 등 어디에나 존재한다. 엔비디아와 함께 기업이 데이터 프라이버시(data privacy), 보안과 제어 문제를 해결하며, 데이터에 인접한 생성형 AI 워크로드를 안정적으로 사용할 수 있도록 지원할 것"이라고 말했다.

엔비디아의 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “전 세계 모든 기업들이 생성형 AI를 도입하기 위해 경쟁하고 있다. VM웨어와의 파트너십 확대로 금융 서비스, 의료, 제조 등 다양한 분야의 수십만 고객에게 필요한 풀스택(full-stack) 소프트웨어와 컴퓨팅을 제공할 수 있다. 이를 통해 고객은 자체 데이터로 구축된 맞춤형 애플리케이션을 사용해 생성형 AI의 잠재력을 극대화할 수 있다”고 말했다.

생성형 AI를 강화하는 풀스택 컴퓨팅

기업들은 보다 빠르게 비즈니스 성과를 달성하기 위해 생성형 AI 애플리케이션의 개발, 테스트와 배포를 간소화하고 있다. 맥킨지(McKinsey)는 생성형 AI가 전 세계 경제에 연간 최대 4조 4천억 달러를 창출할 것으로 전망한다.1

아울러 기업은 VM웨어 프라이빗 AI 파운데이션을 통해 대규모 언어 모델을 커스터마이징할 수 있다. 이를 통해 내부 사용을 위해 보다 안전한 프라이빗 모델을 생성하고, 사용자에게 서비스형 생성형 AI를 제공한다. 또한 추론 워크로드를 대규모로 더욱 안전하게 실행할 수 있다.

이 플랫폼의 주요 기능에는 통합 AI 툴이 포함된다. 이 통합 AI 툴은 기업이 프라이빗 데이터로 훈련과 검증된 모델을 비용 효율적인 방법으로 실행할 수 있도록 지원한다. VM웨어 클라우드 파운데이션과 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어를 기반으로 하는 플랫폼의 기대되는 이점은 다음과 같다:

프라이버시 – 데이터를 보호하고 안전한 액세스를 보장하는 아키텍처를 통해 고객이 데이터가 있는 곳 어디에서나 쉽게 AI 서비스를 실행할 수 있다.

선택권 – 기업은 엔비디아 네모(NeMo)™에서 라마2(Llama 2)와 그 이상의 모델을 구축하고 실행하는 위치에 대한 폭넓은 선택권을 갖게 된다. 여기에는 주요 OEM 하드웨어 구성과 향후 퍼블릭 클라우드(public cloud)와 서비스 제공업체 제품이 포함된다.

성능 – 최근 업계 벤치마크에서 입증된 것처럼 엔비디아 가속 인프라에서 실행하면 일부 사용 사례에서 베어 메탈과 동등하거나 그 이상의 성능을 제공한다.

데이터센터 확장 – 가상화 환경의 GPU 확장 최적화를 통해 AI 워크로드를 단일 가상 머신에서 최대 16개의 vGPU/GPU와 여러 노드에 걸쳐 확장할 수 있다. 따라서 생성형 AI 모델 미세 조정과 배포 속도를 높일 수 있다.

비용 절감 – 모든 컴퓨팅 리소스, GPU, DPU, CPU의 사용량을 극대화해 전체 비용을 절감하고 팀 간에 효율적으로 공유할 수 있는 풀 리소스 환경을 구축할 수 있다.

가속화된 스토리지 – VM웨어 브이샌 익스프레스 스토리지 아키텍처(vSAN Express Storage Architecture)는 성능에 최적화된 NVMe 스토리지를 제공하고 RDMA를 통해 GPU다이렉트(GPUDirect) 스토리지를 지원한다. 이를 통해 CPU의 개입 없이 스토리지에서 GPU로 직접 I/O를 전송할 수 있다.

가속화된 네트워킹 – 브이스피어(vSphere)와 엔비디아 NV스위치(NVSwitch)™ 기술 간의 긴밀한 통합으로 GPU 간 병목 없이 멀티 GPU 모델을 실행할 수 있다.

신속한 배포와 가치 실현 시간 - 브이스피어 딥 러닝 VM 이미지와 이미지 저장소는 프레임워크와 성능에 최적화된 라이브러리가 사전 설치된 안정적인 턴키 솔루션 이미지를 제공한다. 이로써 빠른 프로토타이핑 기능을 지원한다.

이 플랫폼에는 엔비디아 네모가 탑재될 예정이다. 엔비디아 네모는 엔비디아 AI 플랫폼의 운영체제인 엔비디아 AI 엔터프라이즈에 포함된 엔드투엔드 클라우드 네이티브 프레임워크이다. 엔비디아 AI 엔터프라이즈는 기업이 거의 모든 곳에서 생성형 AI 모델을 구축, 커스터마이징과 배포할 수 있도록 지원한다. 더불어 엔비디아 네모는 커스터마이징 프레임워크, 가드레일 툴킷, 데이터 큐레이션 툴, 사전 훈련된 모델 등 결합한다. 이를 통해 기업이 쉽고, 빠르고, 비용 효율적으로 생성형 AI를 도입할 수 있는 방법을 제공한다.

엔비디아 네모는 생산 단계에서 생성형 AI를 배포하기 위해 대규모 언어 모델용 텐서RT(TRT-LLM)을 사용한다. 이는 엔비디아 GPU의 최신 LLM에서 추론 성능을 가속화하고 최적화한다. 네모를 통해 기업은 자체 데이터를 가져와 VM웨어의 하이브리드 클라우드 인프라에서 맞춤형 생성형 AI 모델을 구축하고 실행할 수 있는 VM웨어 프라이빗 AI 파운데이션을 사용할 수 있다.

VM웨어 익스플로어 2023(VMware Explore 2023)에서 엔비디아와 VM웨어는 새로운 엔비디아 AI 워크벤치(AI Workbench) 기능을 소개한다. 기업의 개발자들은 엔비디아 AI 워크벤치를 사용해 허깅 페이스(Hugging Face)에서 사용할 수 있는 라마2와 같은 커뮤니티 모델을 원격으로 커스터마이징하고 VM웨어 환경에서 프로덕션급 생성형 AI를 배포할 수 있다.

엔비디아가 지원하는 VM웨어 프라이빗 AI 파운데이션을 위한 대규모 에코시스템 지원

엔비디아와 함께하는 VM웨어 프라이빗 AI 파운데이션은 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo)의 지원을 받는다. 이는 엔터프라이즈 LLM 커스터마이징과 추론 워크로드를 강화하는 시스템을 제공하는 최초의 사례 중 하나가 될 것이다. 여기에는 엔비디아 L40S GPU, 엔비디아 블루필드(BlueField)®-3 DPU, 엔비디아 커넥트X-7 스마트NIC(ConnectX®-7 SmartNIC)가 탑재된다.

엔비디아 L40S GPU는 엔비디아 A100 텐서 코어 GPU에 비해 최대 1.2배 더 뛰어난 AI 추론 성능과 최대 1.7배 더 뛰어난 훈련 성능을 제공한다.

더불어 엔비디아 블루필드-3 DPU는 가상화, 네트워킹, 스토리지, 보안, 기타 클라우드 네이티브 AI 서비스 등의 컴퓨팅 로드를 GPU 또는 CPU에서 가속화, 오프로드, 분리한다.

또한 엔비디아 커넥트X-7 스마트NIC는 데이터센터 인프라를 위한 지능적이고 가속화된 네트워킹을 제공함으로써 세계에서 가장 까다로운 AI 워크로드를 강화한다.

엔비디아가 지원하는 VM웨어 프라이빗 AI 파운데이션은 양사의 10년간의 파트너십을 기반으로 한다. 양사는 공동 엔지니어링 작업을 통해 베어메탈에 필적하는 성능으로 엔비디아 AI 엔터프라이즈를 구동할 수 있도록 VM웨어의 클라우드 인프라를 최적화했다. 양사 고객은 VM웨어 클라우드 파운데이션이 제공하는 리소스와 인프라 관리, 유연성의 이점을 더욱 누릴 수 있다.

가용성

VM웨어는 2024년 상반기에 엔비디아와 함께 VM웨어 프라이빗 AI 파운데이션을 출시할 예정이다.