엔비디아(CEO 젠슨 황)의 연구진은 서울 코엑스에서 열린 '국제컴퓨터비전 학회(International Conference on Computer Vision, 이하 ICCV)'에서 동물의 사진을 보고 표정이나 포즈를 다른 동물에 똑같이 구현하는 'GANimal' 애플리케이션 관련 논문을 발표했다.

'GANimal'은 생성적 적대 신경망(Generative Adversarial Networks, 이하 GAN)이라는 새로운 인공지능(AI) 기술을 기반으로 개발되었다. GAN은 두개의 네트워크로 구성된 심층 뉴럴 네트워크 구조로 한 네트워크가 다른 네트워크와 서로 대립해 경쟁하는 방식으로 학습을 진행하는 기술이다.

사람들은 자신의 반려동물이 짓는 다양한 표정들을 기억하고 있으므로 이를 쉽게 따라할 수 있지만, 컴퓨터에서 그 모습을 재연하는 건 어려운 일이었다. 새롭게 개발된 GANimal 애플리케이션을 통해 개나 고양이의 사진을 업로드하면, 사진 속 동물의 표정과 포즈를 아프리카 사냥개나 이집트 고양이에서 시추, 눈표범, 느림보곰까지 수십 종의 동물에 적용할 수 있다.

이 기술의 잠재력은 무궁무진하다. 영화를 촬영할 때 묘기를 부리는 개의 모습을 찍고 그 움직임을 AI로 매핑해 다루기 위험한 호랑이에 적용할 수 있게 된다.

GANimal에는 '푸닛(FUNIT, Few-shot, UNsupervised Image-to-image Translation)'이라고 부르는 알고리즘이 사용되었다. 이는 테스트 진행 시 몇 개의 예제 이미지 만으로 전에는 볼 수 없었던 타겟층에 적용되는 기술이다.

엔비디아 푸닛 기술 개발팀의 수석 컴퓨터 비전 연구원 리우 밍유(Ming-Yu Liu)는 “대부분의 GAN 기반 이미지 변환 네트워크는 오로지 한 개의 작업을 처리하도록 한다. 우리는 단일 네트워크가 다양한 변환작업을 처리할 수 있게 학습시킨다. 각각의 작업에서는 무작위로 선정된 소스 동물을 임의로 선정된 타겟 동물 이미지들을 사용해 그 타겟 동물로 변환시킨다. 네트워크는 다양한 이미지 변환 작업을 처리하면서, 기존의 동물 모습을 일반화해 전에 볼 수 없었던 새로운 동물의 이미지로 변환할 수 있게 된다”고 설명했다.

이미지 변환을 하기 위해서는 여러 장의 타겟 동물 이미지를 네트워크 모델에 학습시켜야 했다. 이제 연구진이 GAN 프로세스에 추가하는 다양한 이미지 변환 작업 등으로 구성된 훈련 기능을 통해 사진 한 장으로 이미지 변환을 할 수 있다. 이는 인간의 상상력을 뉴럴 네트워크에 코딩한다는 리우 수석연구원의 최종목표다. 리우 수석연구원은 “새로운 문제들을 해결해 나가는 것이 기술과 사회를 발전시키는 길이다”라고 소감을 밝혔다.

엔비디아의 200여 명의 연구진 중 7명의 연구원으로 이뤄진 엔비디아 푸닛 팀은 최신 푸닛 툴에 더 많은 이미지를 더 높은 해상도로 포함할 예정이다. 이미 고해상도 꽃, 음식 이미지로 테스트가 진행되고 있다.

리우 수석연구원 팀의 GAN 기술은 올해 초 사람들이 그린 낙서를 마치 사진과 같은 사실적인 예술작품으로 변환하는 '고갱(GauGAN)'이라는 AI 기술로 주목을 받았다. 고갱으로 벌써 백만 개 이상의 이미지가 만들어 졌으며, 고갱 데모는 엔비디아 AI 플레이그라운드에서 직접 체험해볼 수 있다.

한편, 리우 수석연구원은 ICCV에서 열리는 3개의 강연과 한 개의 포스터 세션에서 총 4개의 논문을 발표할 계획이다. 논문 세션에서는 의장을 맡아 최신 엔비디아 GPU의 텐서 코어(Tensor Core)를 어떻게 프로그래밍하는지 발표할 예정이다.