엔씨소프트(이하 엔씨)가 금일(18일) 자사의 AI 연구개발 조직을 소개하고, 엔씨의 AI R&D 특징과 현황을 발표하는 'NC AI 미디어 토크 2019' 행사를 자사 판교 사옥에서 개최했다.

이날 현장에는 한운희 미디어인텔리전스랩 실장, 이재준 AI 센터장, 장정선 NLP 센터장이 참석하여 엔씨가 연구 및 개발하고 있는 AI에 대해 소개하고 특징과 현황을 소개하는 시간을 가졌다.

엔씨는 AI 기술로 더욱 재미있고 사용하기 편하며 가치 있는 게임 및 IT 상품, 제품, 서비스를 제공하는 것을 목표로 2개 센터 산하 5개의 랩(Lab)을 운영 중이다. 지난 2011년 처음 출범한 AI TF는 2012년 12월 AI랩으로 확대된데 이어, 2016년 1월 AI센터 산하 NLP랩을 거쳐 2017년 9월 NLP센터까지 설립되어 운영되고 있다.

특히 국내 AI 분야 대학원 연구실 13곳과 긴밀히 연구 협력을 맺으며 연구 활동을 벌이는 한편, 지난 2018년에는 자연어처리(NLP, Natural Language Processing) 분야의 권위자로 널리 알려져 있는 임해창 전 고려대학교 컴퓨터학과 교수를 자문 교수로 영입한 바 있다.

또한 엔씨는 AI 전문 연구 인력 150여 명과 함께 해결하기 어려운 문제의 해결 방법을 AI를 통해 찾거나 기존 기능을 개선하는 등의 연구 외에도, 자사가 서비스하고 있는 온라인, 모바일게임과 AI 기술의 연계를 통해 AI를 통한 근본적인 혁신을 목표로 활발히 R&D를 진행하고 있다.

엔씨가 운영 중인 AI R&D 조직은 크게 AI 센터와 NLP 센터 두 가지로 나뉘어져 있다. 먼저 AI 센터는 게임의 개발 및 서비스를 도와주는 AI 기술 개발을 목표로 연구 개발을 진행하고 있는 '게임 AI 랩'과 사용자의 대화를 인식하고 음성으로 응답하는 AI 기술을 개발하는 '스피치 랩', 주어진 이미지나 동영상을 인식하고 이해하여 의도에 따라 이미지를 생성 및 변형하는 '비전 랩' 등 세 개의 조직으로 구분되어 있다.

NLP 센터는 대용량의 문서를 이해하여 요약하는 문서요약 기술, 데이터를 이야기(Story)로 생성하는 기술 등 사람의 말을 이해하는 자연어처리 기반 기술을 연구하는 '언어 AI 랩'과 다양한 데이터 분석을 통해 지식을 생성, 요약, 추론하고 상황에 맞춰 활용하기 위한 '지식 AI 랩' 등 두 개 조직으로 나뉘어져 있다.

현장에 참석한 한운희 미디어인텔리전스랩 실장은 "엔씨의 AI는 문제를 해결하는 기술 도구다"라고 정의하며 "AI 기술을 통해 기존보다 더 나은 해결책을 제공하고, 사용자가 새로운 가치를 경험할 수 있도록 노력하는 것이 바로 엔씨의 AI"라고 강조했다.

또 그는 엔씨 내의 AI 연구 부서의 특징으로 현업 종사자와의 긴밀한 커뮤니케이션과 수평적 문화를 꼽았다. 그는 "연구를 위한 연구를 하거나, 고립된 상태에서 R&D를 하다 실제 회사에서 하는 것과 거리가 생기는 경우가 있다. 하지만 우리는 그렇지 않다. 현업 종사자, 그리고 산학과 함께 어떻게 문제를 풀 수 있을까 고민하는 문화를 갖고 있다"고 설명했다.

본격적으로 엔씨가 추구하는 AI R&D의 방향성에 대해 소개하기에 앞서, 엔씨는 '나는 나를 파괴할 권리가 있다'로 널리 알려져 있는 김영하 작가의 음성을 10분 가량 녹음하여 딥러닝 음성 합성으로 만들어낸 환영사를 선보이면서 참석한 미디어들의 이목을 집중시켰다.

게임과 AI의 결합을 통한 가치 증대
다음으로는 AI센터의 이재준 센터장이 자리에 올라, 엔씨가 추구하고 있는 가치 증대(Value Addition) 측면에서의 연구 방향성에 대해 설명하는 시간을 가졌다. 이 센터장은 "우리는 게임 회사다. 게임 속에서 AI를 어떻게 하면 잘 활용할 수 있을지 늘 고민하고 있다"며 게임 개발과 게임 서비스에서 AI 기술을 활용하는 방법에 대해 설명했다.

엔씨가 게임 도메인에서 AI 기술을 활용하려고 준비중인 '어시스턴트 AI'는 크게 게임 개발과 게임 서비스 등 두 가지로 나뉜다. 게임 개발에서는 '블레이드 & 소울'을 통해 선보였던 '비무 AI'가 가장 대표적이다. 또 기획과 아트 제작시에도 AI를 활용할 수 있고, QA 등 개발 검증에도 AI를 통해 업무의 효율성을 높일 수 있다.

이 센터장은 '블레이드 & 소울'의 현지화와 관련된 예시를 들었다. '블레이드 & 소울'은 전 세계 많은 국가에 서비스 중에 있고, 각 국가의 언어에 맞춰 현지화 되어 있다. 많은 양의 대사가 각 국가별 언어로 녹음되어 있는데, 이 과정에서 스크립트가 정상적으로 녹음되었는지 알기 어렵다는 문제점이 있다. 이러한 단순, 또는 반복 작업을 사람이 하는 것이 아니라 AI에게 맡겨 생산성을 향상시키는 것이 바로 게임 개발 어시스턴트 AI다.

단순 게임 개발에서의 활용뿐만 아니라 게임 서비스 어시스턴트 AI를 통해 사용자들을 위한 편의 기능도 제공할 수 있다는 것이 이 센터장의 설명이다. 각종 플레이 편의 기능에 더해 욕설 필터링 등의 채팅 편의 기능, 게임 중계 편의 기능이 여기에 해당한다.

특히 캐릭터 애니메이션 제작 등 많은 수작업이 요구되는 개발 과정에 있어 AI는 많은 도움을 준다. 캐릭터 모션에 특정한 스타일(좀비 등)을 입히는 '모션 스타일 트랜스퍼(Motion Style Transfer)나 환경에 맞춰 상호 작용되는 신체 동작을 자동으로 생성하는 학습기반 IK(Inverse Kinematics), 대사에 따라 캐릭터의 얼굴 애니메이션을 자동으로 만들어주는 'Text to Animation' 등이 대표적이다. AI에게 기본적인 초기 개발 과정을 맡기고, 사람은 이 결과물을 확인하며 세밀하게 조정하고 고품질의 결과물을 만들어낼 수 있게 되는 것이다.

이 외에도 많은 유저들이 관심을 가졌던 신기술 '보이스 커맨드'에 대한 설명도 이어졌다. 목소리로 게임을 플레이할 수 있도록 하는 기술인 '보이스 커맨드'는 호출어와 명령어를 인식한 다음 이것을 이해하여 수행하는 과정을 거치게 되는데, 얼핏 보기에는 간단하지만 기술적으로 구현하기 어렵다는 것이 이 센터장의 설명.

이 센터장은 "이러한 과정은 서버에서 처리되는 것이 아니라 단말기에서 실행되는 것을 목표로 하고 있다. 서버에 부담을 주기 때문이다. 또 주변 잡음과 원거리 발성, 다양한 발성 상황, 발화 변형 등에도 모두 대응할 수 있어야 하며, 또 빠르고 정확한 인식 성능도 요구된다"며 "올해 안으로는 어렵지만 단계적으로 차근차근 해나갈 것"이라고 덧붙였다.

장정선 NLP 센터장 "콘텐츠의 감정을 고려한 사용자와의 교감이 중요"
이어 장정선 NLP 센터장이 자리에 올라, AI를 통한 가치 생성에 대한 관점으로 설명을 이어갔다.

장 센터장은 "흔히 기술적 관점의 AI를 물어보는 경우가 많다. 하지만 사용자에게 새로운 가치를 주기 위해서는 플랫폼과 서비스로서의 AI도 필요하다"며 "기술의 품질만 좋다고 서비스될 수 있는 것은 아니다. 또 기술이 완성된다고 해서 곧바로 사용자의 가치로 이어지는 것은 아니다. 우리는 AI 기술이 어떤 모습을 갖추게 되었을 때 사람들에게 가치를 줄 수 있을지 탐색하고 있다"고 말했다.

그는 어떤 콘텐츠라고 하더라도 가볍고 빠르게 전달하는 것이 요즘 시대에 걸맞는 것이라며, 간단한 야구 관련 정보를 빠르게 전달하는 서비스 AI를 예로 들었다. 오는 8월 중 적용될 예정인 경기 요약은 야구 경기에서 핵심적인 장면을 추출하여 요약 영상을 생성하고 제공하는 서비스다.

장 센터장의 설명에 따르면 실제 야구 경기는 평균 3시간 10분이 걸리지만, 실제로 경기의 핵심인 주요 장면은 6분이 채 되지 않는다. AI가 추출한 경기 요약 서비스(컨텐스드 영상)를 활용하면 긴 야구 경기를 하이라이트 장면만 모아서 빠르게 볼 수 있게 되는 것이다.

이렇게 하이라이트 영상을 잘라낼 경우 음성이 끊기는 문제가 생긴다. 이를 해결하기 위해 스피치 랩은 실제 스포츠 중계처럼 음성을 합성하는 야구 중계 음성 합성을 R&D 중에 있다. 단순한 낭독과 대화를 넘어 감정을 전달하는 음성 합성 기술로, 안타까움이나 흥분, 소리치기(샤우팅) 등 다양한 상황의 음성을 합성하는 방향으로 개발 중이다.

이 외에도 사용자가 원하는 정보와 이슈에 대한 최신 뉴스를 빠르게 편집하여 전달하는 뉴스 브리핑, 야구와 관련된 가벼운 퀴즈를 자동으로 생성하여 사용자에게 제공하는 야구 퀴즈 등도 연구되고 있다.

이 외에도 흥미로운 것을 찾아내 함께 이야기를 나눌 수 있도록 하는 방향성에 대해서도 소개되었다. 사용자가 응원하는 팀을 중심으로 한 각종 정보를 통해 관전 포인트와 하이라이트를 만들어 제공하고, 이러한 숫자로 이루어진 정보를 넘어서는 선수의 이야기를 만드는 것이 엔씨가 생각하는 AI의 방향성이다.

장 센터장은 "사람들은 단순한 배달 서비스 보다는 정서적으로 교감을 원한다. 콘텐츠의 감정을 고려한 사용자와의 교감, 즉 콘텐츠의 감정과 사람의 감정을 연결하여 교감하는 것이 중요하다"고 강조하며 "이미 이러한 기술은 각기 별개의 서비스로 존재했는데, 이것을 사용자가 자연스럽게 신경 쓰지 않도록 결합하는 것이 중요하다"고 말했다.

현황 소개가 끝난 후 이 센터장은 지난 해에 이어 올해에도 이러한 AI R&D 현황을 소개하는 행사를 개최하는 이유에 대해 "우리가 추구하는 것은 소통, 공유, 교류, 협력이다. 특별히 다른 의도가 있어서 행사를 여는 것은 아니다"라며 "이전 행사를 통해 많은 이야기를 들을 수 있어 좋았다는 의견을 주셨다. (정보를) 알리고 나누면 좋지 않을까라는 생각에서 행사를 선보이고 있다"고 밝혔다.

또 그는 "AI는 긴 기간을 투자해야 하는 분야다. 인내심을 갖고 지켜봐 주셨으면 한다. 이제 막 싹을 틔웠으니, 꽃을 피울 수 있도록 많은 관심과 지원, 응원을 부탁드린다"고 말했다.