엔비디아( CEO 젠슨 황)가 미국 새너제이에서 열린 GTC에서 프로젝트 에테르(Project Aether)를 공개했다. 프로젝트 에테르는 대규모 GPU 가속화를 위해 스파크 워크로드를 자동으로 검증, 테스트, 구성, 최적화하는 도구와 프로세스 모음이다. 이를 통해 엔비디아 가속 스파크(Spark) 기능 활용을 극대화할 수 있다.

전세계 많은 기업이 아파치 스파크(Apache Spark)를 활용해 방대한 데이터 세트를 분석함으로써 중요한 운영을 지원하고 트렌드, 고객 행동, 비즈니스 성과 등을 예측하고 있다. 기업의 데이터 처리와 이해 속도가 빠를수록 더 많은 수익을 얻고 비용을 절감할 수 있다.

이런 이유로 세계 최대 규모 소매업체와 은행을 비롯해 대규모 데이터 세트를 보유한 많은 기업이 아파치 스파크용 엔비디아 래피즈 액셀러레이터(NVIDIA RAPIDS Accelerator for Apache Spark)를 채택하고 있다. 이 오픈 소스 소프트웨어는 엔비디아 가속 컴퓨팅 플랫폼 기반으로 실행돼 코드 변경 없이 엔드 투 엔드 데이터 사이언스와 분석 처리 과정 속도를 크게 향상시킨다.

1년 분량 작업을 일주일만에 완료하는 프로젝트 에테르

프로덕션에서 스파크를 사용하는 고객은 수만 개 이상의 복잡한 작업을 관리하는 경우가 많다. CPU 전용 컴퓨팅에서 GPU 기반 컴퓨팅으로 마이그레이션하면 이점이 많지만, 수작업으로 진행해야 하는 시간 소모가 큰 과정이 될 수 있다.

프로젝트 에테르는 기업들이 이전에 수작업으로 수행했던 수많은 단계를 자동화한다. 여기에는 모든 스파크 작업을 분석해 GPU 가속에 가장 적합한 후보를 식별하고, 각 작업의 테스트 실행을 준비하고 수행하는 과정이 포함된다. 또한 AI를 사용해 각 작업의 구성을 미세 조정함으로써 최대 성능을 구현하고자 한다.

프로젝트 에테르의 효과를 알아보기 위해 100개의 스파크 작업을 처리해야 하는 기업이 있다고 가정해볼 수 있다. 이때, 프로젝트 에테르를 사용하면 모든 작업을 엔비디아 GPU 가속에 맞게 구성하고 최적화하는 데 단 4일밖에 걸리지 않는다. 반면 데이터 엔지니어 한 명이 동일한 프로세스를 수작업으로 수행하면 최대 1년이 걸린다.

호주 커먼웰스 은행, 엔비디아 가속 아파치 스파크로 AI 혁신 주도

전세계 기업들은 엔비디아 가속 컴퓨팅에서 아파치 스파크를 실행해 CPU만 사용할 때보다 적은 하드웨어로 더 빠르게 작업을 완료할 수 있다. 이로써 시간, 공간, 전력, 냉각은 물론 클라우드의 자체 데이터 센터 자본과 운영 비용을 절감할 수 있다.

호주 최대 금융 기관인 호주 커먼웰스 은행(Commonwealth Bank of Australia, CBA)은 호주 금융 거래의 60%를 차지한다. CBA는 스파크 워크로드 실행에서 지연 시간과 비용과 관련된 어려움을 겪고 있었다. CPU 전용 컴퓨팅 클러스터를 사용하고 있어 매일 발생하는 대규모 데이터 수요 처리 외에도 훈련 백로그 처리 시간이 9년 가까이 걸릴 것으로 추산됐다.

CBA 데이터와 분석 수석 책임자인 앤드류 맥멀란(Andrew McMullan)은 “하루에 4천만 건의 추론 작업을 처리해야 하기 때문에, 이를 신속하고 신뢰할 수 있는 방식으로 처리하는 것이 매우 중요했다”고 말했다.

이에 따라 CBA는 아파치 스파크용 래피즈 액셀러레이터를 GPU 기반 인프라에서 실행했고, 640배의 성능 향상을 통해 63억 건의 거래를 단 5일만에 처리할 수 있었다. 더불어 매일 4천만 건의 거래에 대해 46분만에 추론을 수행할 수 있었으며, CPU 기반 솔루션과 비교할 때 비용을 80% 이상 절감할 수 있게 됐다.

앤드류 맥멀란은 엔비디아 가속 아파치 스파크의 또 다른 가치로, 비용 효율적인 모델 구축에 필요한 컴퓨팅 시간 효율성을 지원하는 것이라고 말했다. 그는 CBA는 이를 통해 고객 서비스를 개선하고, 고객 주택 대출 지원 필요 시기를 예측하고, 사기 거래를 신속하게 감지할 수 있도록 돕는 모델을 효율적으로 구축할 수 있었다고 전했다.

CBA는 엔비디아 가속 아파치 스파크를 활용해 고객이 일반적으로 디지털 서비스 이용을 종료하는 지점을 정확히 파악할 계획이다. 이를 통해 은행이 적절한 시점에 문제를 해결해 고객이 서비스를 이용 중단하는 비율을 줄일 예정이다.

글로벌 에코시스템

아파치 스파크용 래피즈 액셀러레이터는 글로벌 파트너 네트워크를 통해 이용할 수 있다. 아마존 웹 서비스(Amazon Web Services, AWS), 클라우데라(Cloudera), 데이터브릭스(Databricks), 데이터이쿠(Dataiku), 마이크로소프트 애저(Microsoft Azure), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)에서 실행시킬 수 있다.

델 테크놀로지스(Dell Technologies)는 아파치 스파크용 래피즈 액셀러레이터와 델 데이터 레이크하우스(Dell Data Lakehouse)의 통합을 발표했다.

여기에서 엔비디아 프로젝트 에테르를 통해 아파치 스파크 작업의 대규모 마이그레이션에 대한 지원을 받을 수 있다.

여기에서 월마트(Walmart), 캐피탈 원(Capital One), CBA 등 선도 기업이 참여하는 엔비디아 GTC 주요 세션을 확인할 수 있다.

- 월마트가 래피즈를 사용해 효율성을 개선한 방법과 그 과정에서 배운 점(How Walmart Uses RAPIDS to Improve Efficiency, and What We Have Learned Along the Way)

- 래피즈로 쿠버네티스(Kubernetes)에서 분산 아파치 스파크 애플리케이션 가속화하기(Accelerate Distributed Apache Spark Applications on Kubernetes With RAPIDS)

- 산업계에서 가속 컴퓨팅으로 초고속 데이터 사이언스 파이프라인 구축하기(Build Lightning-Fast Data Science Pipelines in Industry With Accelerated Computing)

- AWS에서 엔비디아 래피즈로 금융 서비스 거래 사기 탐지 기술 개선하기(Advancing Transaction Fraud Detection in Financial Services With NVIDIA RAPIDS on AWS)

- 데이터브릭스에서 GPU와 래피즈로 데이터 인텔리전스 가속화하기(Accelerating Data Intelligence With GPUs and RAPIDS on Databricks)

- 비용 절감과 성능 향상 위해 최첨단 블랙웰 GPU로 아파치 스파크 데이터 처리 확장하기(Scale Your Apache Spark Data Processing With State-of-the-art Blackwell GPUs for Cost Savings and Performance)