올해 초부터 챗 GPT가 ‘지브리’ 스타일의 이미지를 자연스럽게 생성하는 것이 알려지면서 이미지 생성형 AI에 대한 관심이 폭발적으로 증가했다.

물론 그림의 원작자들의 반대 목소리도 있기는 했지만 이를 잘 이용한다면 적은 그래픽 리소스로도 자신이 원하는 이미지를 만들 수 있다는 생각에 많은 이들이 여러 시도를 해보고 있는 상황이다.

이 상황에서 유저들이 직접 ‘메이플스토리’의 리소스를 활용해 여러 게임들을 제작해볼 수 있는 넥슨 ‘메이플스토리 월드’의 최가운 개발자는 ‘메이플스토리 토이’라는 역할극 게임에 자신의 딸을 AI 캐릭터로 제작해 메이플스토리 캐릭터로 등장시키면 어떨까 하는 생각을 하게 됐다.

그렇게 시작한 AI 학습과 결과물 그리고 더 나아가 이 부분을 실무에 도입시킬 때 어떤 일이 있었고 어려움에 대해 ‘넥슨 개발자 콘퍼런스(NDC)25’의 ‘메이플스토리 월드 이미지생성 AI R&D, 내 딸을 메이플 캐릭터로?’라는 세션을 통해 공개했다.

이미지 생성형 AI의 원리
본격적인 강연에 앞서 최가운 개발자는 이미지 생성형 AI의 동작 원리에 대해 설명했다. 

이미지 생성형 AI는 ‘지시하기’와 ‘그리기’ AI 모델 두개가 각각 동작하여 진행되는 시스템이다. 이 중 지시하기의 경우 유저가 어떤 이미지를 생성하길 원한다고 말할 때 말하는 요소 예를 들면 한국인 단발 여자의 경우 한국인, 단발, 여자를 각각 하나의 요소로 인식하고 확률적으로 데이터를 찾고 이 평균값으로 결과값을 도출한다.

문제는 이 요소들이 많아지면 많아질수록 AI가 결과값을 도출하는데 어려움이 있는 편이다.

이 때문에 일반적인 사진을 언어로 지시할 시 요소가 복잡해질 수 밖에 없고 AI는 거기에 맞는 프롬프트를 찾는데 어려움이 발생하게 된다.

이 때의 해결 방안은 바로 기존 모델의 개선이 아닌 보조 모델을 추가하는 것. 최가운 개발자는 이를 위해 말로 표현하기 힘든 특징들을 AI가 인식하기 쉽게 컨트롤 넷과 IP-Adapter를 이용해 AI가 조금 더 자신의 의도를 쉽게 도출할 수 있도록 작업을 진행했다.

그리기 AI 또한 결과물은 확률을 기반으로 동작하게 된다.

사용자가 의도한 그림체로 AI가 그리게 하기 위해서는 그림체의 학습이 필요한데, 이 때에는 보조 모델 ‘LoRA’를 학습시켜서 원하는 그림체로 결과값 도출이 가능했다.

특히 최가운 개발자는 보조 AI 모델의 경우 상황에 따라 새로운 모델이 지속적으로 출시 되므로 도구가 중요한 것이 아닌 도구를 학습시킬 수 있는 의도와 설계가 담긴 데이터의 준비가 중요하다고 조언했다.

이미지 생성 AI를 활용한 작업의 실패 사례
보조 모델을 사용해 AI가 최대한 사용자의 의도에 근접해 이미지를 생성하게 만들 수는 있으나 그 과정에서 예상치 못한 결과값이 도출되는 일도 더러 있었다.

먼저 상하의 분홍색 내복 이미지를 활용해 이미지를 생성했음에도 불구하고 갑자기 파란 바지가 등장하는 경우가 있었다. 이 문제는 이미지를 생성할 때 한번에 모든 이미지를 생성하는 것이 아니라 헤어, 상의, 하의 등 레이어를 구분해 작업하고 완성본으로 합쳐서 제작하는 방식으로 작업을 진행했다.

이 때 그릴 부분을 정확히 마스킹해야 더 좋은 결과값이 나온다고 최가운 개발자는 조언했다.

또한 최가운 개발자는 LoRA 학습과정에 어려움을 느끼는 개발자들을 위해 이 때는 다른 사람들이 학습한 LoRA 모델의 학습 정보를 최대한 활용하면서 자신의 의도가 잘 담긴 데이터셋을 10장에서 30장 내외로 준비해서 학습시킬 것을 제안했다.

이미지 생성형 AI 실무에 활용할 수 있을까?
최가운 개발자는 자신이 학습한 이미지 생성형 AI를 메이플스토리 월드의 아바타를 제작하거나 메이플스토리 월드의 배경을 탑다운, 쿼터뷰, 포스터, 밈 이미지를 제작하는데 활용했다.

여기에 헤네시스의 버섯집의 계절을 변형하거나 직접 그림을 그리기 어렵지만 그림을 덧그리는데 활용해보기도 했다.

그리고 그 과정에서 최가운 개발자는 이미지 생성형 AI의 한계를 몇 가지 느꼈다고 전했다.

먼저 이 툴을 제대로 활용하기 위해서는 사용자 자체가 해당 분야에 대한 전문적인 지식이 필요했다.

구도나 톤, 파생된 레퍼런스에 대한 지식이 없으면 생성한 AI에 대한 다른 디자이너들의 피드백을 받아도 어떻게 수정해야 할지에 대한 방법을 찾기 힘들었던 것.

그렇다면 그래픽 디자이너가 직접 AI를 사용하면 되지 않을까 생각하지만 실제로 범용된 이미지 생성형 AI 툴들이 그래픽 디자이너가 사용하기에는 적절한 툴이 없었다. 아티스트의 의도와 설계를 파악해주고 그리는 과정을 알아주는 모델이 있어야 작업의 정확도를 높일 수 있었는데 그런 모델이 현재는 없었다.

또한 흔히들 하는 생각이 AI를 쓰면 생산성이 증가될 것이라고 생각하지만 실제로는 그 준비 과정이 매우 길었다.

먼저 AI가 학습을 진행해야 하는데 학습을 시키기 위한 데이터를 준비와 가공 인프라 구축에만 약 2주가 걸렸고 원하는 이미지를 얻기 위한 여러 시도를 진행하는데 1주의 시간이 소요됐다.

물론 한번의 작업으로 여러 데이터를 준비해두면 그 다음부터는 작업 속도가 빨라지기는 했지만 준비 시간은 오래 걸린다는 것이 그의 설명.

이 외에도 기존에는 이미지 작업을 할 때 기획자와 디자이너가 다이렉트로 작업하던 것을 이제는 AI를 작업하는 프로그래머가 끼면서 프로세스 또한 변하게 됐다.

마지막은 기술 발전 속도가 너무 빠르다는 점이다. 이 때문에 정작 열심히 학습시킨 AI가 기술의 발전으로 더 나은 버전이 너무 빠르게 나와 툴을 지속적으로 바꾸면 매몰 비용과 작업의 피로도도 급격하게 증가했다.

이 문제에 대해 최가운 개발자는 툴 자체에 집착하기 보다는 툴은 부품처럼 쉽게 교체할 수 있도록 그와 연결된 파이프라인 작업에 더 집중할 것을 조언했다.

아울러 파이프라인 작업 시 가장 중요한 것에 대해 그는 누가 어떤 목적으로 사용할 것인지를 확실히 해야 연구해야 하는 분야도 명확해진다고 강조했다.

마지막으로 최가운 개발자는 “AI가 끊임없이 발전하고 있지만 AI의 방향키는 사람한테 있다”라며 “메이플스토리 월드는 유저가 직접 게임을 만들 수 있는 콘텐츠로 유저들이 방향키를 쥐고 있다 생각하고 그 분들이 게임을 더 잘 만들 수 있도록 앞으로도 노력하겠다”라고 전했다.