엔비디아(CEO 젠슨 황)가 메인스트림 서버용 엔비디아 A30 및 A10 GPU로 새롭게 확장된 자사의 AI 추론 플랫폼이 최근 MLPerf 벤치마크 테스트의 모든 영역에서 기록적인 성능을 달성했다고 발표했다. 

MLPerf는 컴퓨터 비전, 의료 이미징, 추천 시스템, 음성 인식 및 자연어 처리 등을 포함한 광범위한 워크로드에 걸쳐 AI 성능을 측정하기 위해 확립된 대표적인 업계 벤치마크다. 

MLPerf 테스트에는 처음 등장한 엔비디아 A30 및 A10 GPU는 높은 성능과 저전력 소비를 결합하여 기업에 광범위한 AI 추론, 교육, 그래픽 및 기존 엔터프라이즈 컴퓨팅 워크로드를 위한 획기적인 옵션을 제공한다. 시스코(Cisco), 델 테크놀로지스(Dell Technologies), HPE, 인스퍼(Inspur) 및 레노버(Lenovo)는 이번 하반기부터 해당 GPU를 자사의 대용량 서버에 탑재할 것으로 예상된다.

엔비디아는 마이크로소프트(MS), 핀터레스트(Pinterest), 포스트메이츠(Postmates), 티모바일(T-Mobile), USPS, 위챗(WeChat)과 같은 유수의 기업에 구축된 텐서RT(TensorRT), 엔비디아 트라이톤(NVIDIA Triton) 추론 서버를 포함한 다양한 GPU와 AI 소프트웨어를 포괄하는 엔비디아 AI 플랫폼을 통해 이러한 결과를 달성했다. 

이안 벅(Ian Buck) 엔비디아 가속 컴퓨팅 담당 부사장 겸 총괄은 “AI가 모든 산업을 계속해서 변화시키면서, MLPerf는 기업이 IT 인프라 투자에 대한 정보에 입각한 결정을 내리는 데 점점 더 중요한 툴이 되고 있다. 현재 모든 주요 OEM이 MLPerf 결과를 제출하고 있는 가운데, 엔비디아와 우리 파트너들은 AI를 위한 업계 최고의 성능을 제공하고 있다. 뿐만 아니라, 새로운 A30 및 A10 GPU로 구동되는 차세대 엔터프라이즈 서버를 통해 AI를 민주화하는데 집중하고 있다”고 설명했다. 

MLPerf 벤치마크 테스트 결과
엔비디아는 데이터센터 및 엣지 영역의 모든 테스트에 대한 결과를 제출하는 유일한 기업으로, 모든 MLPerf 워크로드에서 최고의 성능을 달성하고 있다. 

또한 여러 제출물은 모든 주요 프레임워크의 모델을 지원하고, GPU 및 CPU에서 실행되며, 배치(batch), 실시간 및 스트리밍을 포함한 다양한 쿼리 유형에 대해 최적화함으로써 애플리케이션에서 AI 배포의 복잡성을 단순화하는 트라이톤 추론 서버를 사용한다. 트라이톤을 사용한 제출물은 유사한 구성으로 가장 최적화된 CPU 및 GPU 구현에 가까운 성능을 달성했다. 

엔비디아는 또한 7개의 MIG(Multi-Instance GPU) 인스턴스를 사용하는 단일 GPU에서 7개의 MLPerf 오프라인 테스트를 동시에 실행함으로써, 엔비디아 암페어(Ampere) 아키텍처의 멀티-인스턴스 GPU 기능을 사용한 결과물을 제출했다. 이 구성은 단일 MIG 인스턴스와 거의 동일한 성능을 보였다. 

이를 통해, 인프라 관리자가 특정 애플리케이션에 적합한 크기의 GPU 컴퓨팅을 프로비저닝하여 모든 데이터센터 GPU에서 최대 출력을 얻을 수 있도록 지원하는 MIG의 성능과 기능성을 입증했다. 

엔비디아 외에도, 엔비디아의 파트너인 알리바바 클라우드(Alibaba Cloud), 델 테크놀로지스, 후지쯔(Fujitsu), 기가바이트(Gigabyte), HPE, 인스퍼, 레노버, 슈퍼마이크로(Supermicro)가 엔비디아 GPU를 사용하여 총 360개 이상의 결과물을 제출했다. 

A30 및 A10 GPU로 확장된 엔비디아 AI 플랫폼
엔비디아 A30 및 A10 GPU는 엔비디아 암페어 아키텍처 GPU, 엔비디아 젯슨 AGX 자비에(Jetson AGX Xavier) 및 젯슨 자비에 NX가 포함된 엔비디아 AI 플랫폼에 추가된 최신 GPU이다. 

A30은 업계 표준 서버를 위한 다양한 성능을 제공하며, 추천 시스템, 대화형 AI, 컴퓨터 비전 등 광범위한 AI 추론과 메인스트림 엔터프라이즈 컴퓨팅 워크로드를 지원한다.

엔비디아 A10 GPU는 딥 러닝 추론, 대화형 렌더링, 컴퓨터 지원 설계 및 클라우드 게임을 가속화하여 기업들이 공통의 인프라에서 혼합 AI 및 그래픽 워크로드를 지원할 수 있도록 한다. 엔비디아 가상 GPU 소프트웨어를 사용하면 관리를 간소화하여 디자이너, 엔지니어, 아티스트 및 과학자가 사용하는 가상 데스크톱의 활용도와 프로비저닝을 개선할 수 있다.

엔비디아 자비에 시스템-온-모듈을 기반으로 하는 엔비디아 젯슨 플랫폼은 엣지에서 서버급 AI 성능을 제공하여 로봇, 의료, 소매 및 스마트시티와 같은 다양한 애플리케이션을 지원한다. 엔비디아의 통합 아키텍처와 쿠다-X(CUDA-X) 소프트웨어 스택을 기반으로 구축된 젯슨은 30W 미만의 전력 소비로 모든 엣지 워크로드를 컴팩트한 설계상에서 실행할 수 있는 유일한 플랫폼이다. 

추가정보
엔비디아 A100 GPU는 주요 제조업체의 서버와 모든 선도적인 클라우드 서비스 공급업체의 클라우드에서 이용할 수 있다. 또한 A100 GPU는 엔비디아 DGX 스테이션 A100, 엔비디아 DGX A100 및 엔비디아 DGX 슈퍼POD(SuperPOD)를 포함하여 엔비디아 DGG 시스템 포트폴리오 전반에 걸쳐 제공된다. A30 및 A10은 광범위한 워크로드에서 고성능을 보장하기 위해 엄격한 테스트를 거친 엔비디아 인증 시스템을 비롯한 광범위한 서버에서 제공될 예정이다. 젯슨 AGX 자비에 및 젯슨 자비에 NX 시스템-온-모듈은 전 세계 총판으로부터 공급된다. 엔비디아 트라이톤 및 엔비디아 텐서RT는 모두 엔비디아의 소프트웨어 카탈로그인 NGC에서 이용 가능하다.