엔비디아가 세계 최대규모 로봇 콘퍼런스인 로스콘(ROSCon)에서 로봇운영체제(ROS) 개발자를 위한 생성형 AI 솔루션을 발표했다.

로스콘은 덴마크에서 가장 오래된 도시 중 하나이자 자동화의 중심지인 오덴세(Odense)에서 10월 21일(현지 시간)부터 사흘 간 진행된다. 이번 발표에서 엔비디아(NVIDIA)는 로봇 생태계 파트너들과 함께 ROS 개발자를 위한 생성형 AI툴, 시뮬레이션, 인식 워크플로우를 공개했다.

여기에는 엣지 AI와 로보틱스용 엔비디아 젯슨(Jetson) 플랫폼에 배포하는 ROS 개발자를 위한 새로운 생성형 AI 노드와 워크플로우가 포함됐다. 생성형 AI를  통해 로봇은 주변 환경을 인식하고 이해하며, 인간과 자연스럽게 소통하고, 자율적으로 상황에 맞는 결정을 내릴 수 있다.

ROS 커뮤니티에 등장한 생성형 AI

ROS 2를 기반으로 구축된 리맴버(ReMEmbR)는 생성형 AI를 사용해 로봇의 추론과 행동을 향상시킨다. 이는 거대 언어 모델(Large anguage Model, LLM), 비전 언어 모델(Vision Language Model, VLM), 검색 증강 생성(retrieval-augmented generation, RAG)을 결합한다. 이를 통해 로봇이 장기적인 의미 기억을 구축하고 쿼리하며 환경을 탐색하고 상호 작용하는 능력을 향상시킨다.

음성 인식 기능은 위스퍼TRT(WhisperTRT) ROS 2 노드에 의해 구동된다. 이 노드는 엔비디아 텐서RT(TensorRT)를 사용해 오픈AI(OpenAI)의 위스퍼(Whisper) 모델을 최적화해 엔비디아 젯슨에서 지연 시간이 짧은 추론을 가능하게 함으로써 인간과 로봇의 즉각적인 상호 작용을 가능하게 한다.

음성 제어 기능을 갖춘 ROS 2 로봇 프로젝트는 엔비디아 리바(Riva) ASR-TTS 서비스를 사용해 로봇이 음성 명령을 이해하고 이에 응답할 수 있도록 한다. 나사 제트추진연구소(The NASA Jet Propulsion Laboratory)는 ROS용 AI 기반 에이전트인 로사(ROSA)를 독자적으로 선보였다. 이는 네뷸라-SPOT(Nebula-SPOT) 로봇과 엔비디아 아이작 심(Isaac Sim)의 엔비디아 노바 카터(Nova Carter) 로봇에서 작동했다.

로스콘에서 캐노니컬(Canonical)은 엔비디아 젯슨 오린 나노(Jetson Orin Nano) 시스템 온 모듈에서 실행되는 제로샷(zero-shot) 물체 감지 모델인 나노OWL(NanoOWL)을 시연한다. 이 모델을 사용하면 로봇이 사전 정의된 범주에 의존하지 않고도 광범위한 물체를 실시간으로 식별할 수 있다.

개발자는 이제 로봇 기능을 향상하기 위해 엔비디아 젯슨에 최적화된 LLM과 VLM을 제공하는 생성형 AI용 ROS 2 노드를 사용할 수 있다.

'심 퍼스트(Sim-First)' 접근 방식으로 ROS 워크플로우 향상

시뮬레이션은 배포 전에 AI 지원 로봇을 안전하게 테스트하고 검증하는 데 매우 중요한 작업이다. 오픈USD(OpenUSD)를 기반으로 구축된 로봇 시뮬레이션 플랫폼인 엔비디아 아이작 심은 ROS 개발자에게 로봇을 ROS 패키지에 쉽게 연결해 테스트할 수 있는 가상 환경을 제공한다. 현재 로봇 시뮬레이션과 테스트를 위한 엔드투엔드 워크플로우를 설명하는 새로운 ‘아이작 심을 사용한 ROS 2 워크플로우 초보자 가이드(Beginner’s Guide to ROS 2 Workflows With Isaac Sim)’가 제공되고 있다.

스타트업을 위한 엔비디아 인셉션(Inception) 프로그램의 회원사인 폭스글러브(Foxglove)는 개발자가 아이작 심을 기반으로 구축된 맞춤형 확장 기능을 사용해 시뮬레이션 데이터를 실시간으로 시각화하고 디버깅하는 데 도움이 되는 통합 기술을 시연했다.

아이작 ROS 3.2의 새로운 기능

오픈 소스 ROS 2 소프트웨어 프레임워크를 기반으로 구축된 엔비디아 아이작 ROS는 로보틱스 개발을 위한 가속 컴퓨팅 패키지와 AI 모델의 모음이다. 곧 출시될 3.2 버전은 로봇의 인식, 조작, 환경 매핑을 향상시킨다.

엔비디아 아이작 매니퓰레이터(Isaac Manipulator)의 주요 개선 사항에는 파운데이션포즈(FoundationPose)와 cu모션(cuMotion)을 통합하는 새로운 레퍼런스 워크플로우가 포함된다. 이는 로보틱스에서 픽앤플레이스(pick-and-place)와 객체 추적 파이프라인의 개발을 가속화한다.

아울러 엔비디아 아이작 퍼셉터(Isaac Perceptor)도 개선됐다. 이는 새로운 시각적 SLAM 레퍼런스 워크플로우, 향상된 다중 카메라 감지, 3D 재구성을 특징으로 자율 주행 로봇(autonomous mobile robot, AMR)의 환경 인식과 창고와 같은 동적인 환경에서의 성능을 개선한다.

엔비디아 아이작을 채택한 파트너사

로보틱스 기업들이 엔비디아 아이작 가속 라이브러리와 AI 모델을 자사 플랫폼에 통합하고 있다.

l  테라다인 로보틱스(Teradyne Robotics)의 자회사인 유니버설 로봇(Universal Robots)은 AI 기반 코봇(cobot) 애플리케이션을 개발할 수 있는 새로운 AI 엑셀러레이터 툴킷(AI Accelerator toolkit)을 출시했다.

l  미소 로보틱스(Miso Robotics)는 아이작 ROS를 사용해 AI 기반 로봇 감자튀김 제조 플리피 프라이 스테이션(Flippy Fry Station)의 속도를 높이고 식품 서비스 자동화의 효율성과 정확성을 향상시키고 있다.

l  휠미(Wheel.me)는 알고 로보틱스(RGo Robotics)와 엔비디아와 협력해 아이작 퍼셉터를 사용해 생산에 바로 사용할 수 있는 AMR을 개발하고 있다.

l  메인 스트리트 오토노미(Main Street Autonomy)는 센서 보정을 간소화하기 위해 아이작 퍼셉터를 사용하고 있다.

l  오르벡(Orbbec)은 아이작 퍼셉터를 위한 즉시 사용 가능한 AMR 솔루션인 퍼셉터 디밸로퍼 키트(Perceptor Developer Kit)를 발표했다.

l  립스 코퍼레이션(LIPS Corporation)은 향상된 AMR 내비게이션을 위한 멀티 카메라 인식 개발 키트를 출시했다.

l  캐노니컬은 ROS 개발자를 위해 완전히 인증된 우분투(Ubuntu) 환경을 강조하며 장기적인 지원을 즉시 제공한다.

로스콘 속 파트너

캐노니컬, 에쿠멘(Ekumen), 폭스글러브, 인트린직(Intrinsic), 오픈 내비게이션(Open Navigation), 지멘스(Siemens), 테라다인 로보틱스 등 ROS 커뮤니티 회원과 파트너가 덴마크에서 워크샵, 강연, 부스 데모, 세션을 진행한다. 주요 내용은 다음과 같다.

l  오픈 내비게이션 LLC의 스티브 매켄스키(Steve Macenski)와 함께하는 소규모 그룹 세션 ‘내브2 사용자 밋업(Nav2 User Meetup)’

l  BMW AG의 마이클 겐트너(Michael Gentner)와 지멘스 AG의 카르스텐 브라운로스(Carsten Braunroth)가 함께하는 ‘대규모 공장 자동화의 ROS(ROS in Large-Scale Factory Automation)’

l  엔비디아의 칼리안 바드레부(Kalyan Vadrevu)와 함께하는 소규모 그룹 세션 ‘로봇 조작 워크플로우에 AI 통합하기(Integrating AI in Robot Manipulation Workflows)’

l  엔비디아의 마르쿠스 우엔슈 (Markus Wuensch)와 함께하는 소규모 그룹 세션 ‘시뮬레이션에서 대규모 로봇 학습 가속화(Accelerating Robot Learning at Scale in Simulation)’

l  오픈 내비게이션 LLC의 스티브 매켄스키와 함께하는 “내브2 도킹 사용(On Use of Nav2 Docking)”

지난 22일 화요일 덴마크 오덴세에서 엔비디아는 테라다인 로보틱스와 공동으로 점심과 저녁 리셉션을 주최했다. 오픈 소스 로보틱스 재단(The Open Source Robotics Foundation, OSRF)이 로스콘을 주최한다. 엔비디아는 OSRF와 그 모든 이니셔티브를 위한 산하 조직인 오픈 로보틱스(Open Robotics)의 후원사다.

여기서 로스콘의 최신 소식을 확인할 수 있다.