[ICT 2023] 이연수 엔씨 NLP 센터장 "사람과 같은 디지털 휴먼 추구"

[아이뉴스24 문영수 기자] "엔씨소프트는 사람처럼 보고 움직이고 듣고 알아보고 기억하고 감정을 읽고 스스로 말을 걸거나 자기감정을 표출하는 디지털 휴먼을 추구합니다."

이연수 엔씨소프트 NLP 센터장이 24일 아이뉴스24가 을지로 페럼타워 페럼홀에서 개최한 ICT 포럼 '초거대 AI 시대: 챗GPT와 미래세상'에서 이같은 비전을 공유했다. '리니지'로 유명한 엔씨소프트는 최근 디지털 휴먼으로 구현한 김택진 최고창의력책임자(CCO)를 선보여 화제를 모은 바 있다.

이 센터장은 "TV CF나 아이돌 그룹으로 활동하는 디지털 휴먼들은 굉장히 인간처럼 보이지만 얼굴만 합성한 경우가 많아 실시간으로 상호작용하기는 어렵다"며 "엔씨는 훨씬 실제감과 몰입감을 주는 디지털 휴먼을 추구한다"고 강조했다.

이날 포럼에서는 엔씨소프트가 현재 개발 중인 디지털 휴먼 기술들이 일부 베일을 벗었다. 지난 3월 폐막한 게임개발자콘퍼런스(GDC)에서 공개된 '디지털 김택진'을 필두로 인간과 같은 고유한 설정과 성향으로 대화가 가능한 '샘킴 페르소나', 온라인 게임 '블레이드앤소울'의 악녀 '진서연'을 학습시킨 '진서연 페르소나' 등이 소개됐다.

디지털 김택진은 김택진 CCO의 오리지널 목소리를 학습한 AI가 한국어와 영어로 다른 대사를 하는 영상이 공개됐으며 진서연 페르소나는 시니컬한 목소리와 말투로 원작의 캐릭터성을 유지하며 대화하는 장면으로 이목을 끌었다.

오픈AI가 선보인 챗GPT는 주식 관련 질문을 할 때 대답을 제대로 하지 않는 경우가 많은데 엔씨소프트의 AI 페르소나는 자연스럽게 주식 등 금융 정보를 알려주는 장면이 이목을 끌었다. 이연수 센터장은 "디지털 휴먼은 고객이 친밀감을 느끼고 애착관계를 가질수 있어야 한다"며 "주제에 대해 깊이 있는 이야기할 수 있어야 하며 이를 위해서는 외부 지식 또는 내부 데이터와 결합할 수 있는 기술이 필요하다"고 설명했다.

◆자연스러운 디지털 휴먼, 어떤 기술 사용됐나

엔씨소프트가 이처럼 자연스러운 디지털 휴먼을 선보일 수 있는 건 다양한 AI 기술이 활용됐기 때문이다. 시각적 몰입을 위해 자연스러운 디지털 휴먼의 움직임을 구현하는 '비주얼 액팅(Visual Acting)', 학습한 음성을 바탕으로 다양한 목소리를 생성하는 '보이스 액팅(Voice Actiing)'을 비롯해 영상, 소리, 텍스트 등 여러 종류의 데이터를 조합해 AI가 이용자를 직접 인지하는 '멀티모달(Multmodal) 인식' 기술 등이 대표적이다.

디지털 휴먼 기술의 활용처 또한 무궁무진하다. 특히 방대한 세계관을 지닌 MMORPG에 등장하는 NPC 캐릭터 생성이 가능하다. 이연수 센터장은 "디지털 휴먼을 게임 속 NPC에 적용하기 위해 어떤 성격을 가졌는지 설정하면 자동으로 대화할 수 있는 NPC를 만드는 게 가능하다"며 "현재 게임에서 만날 수 있는 각종 NPC들은 믿음직스런 동료가 되거나 평생 숙적이 되는 역할을 기대하긴 어려운 게 사실이지만 이러한 몰입감을 선사하는 NPC를 개발하고 싶은 게 엔씨소프트의 마음"이라고 언급했다.

게임의 개발 생산성도 대폭 높일 수 있다. 이연수 센터장은 "디지털 휴먼을 만들기 위해 필요한 각종 생성 AI 기술들은 아티스트들의 원화 제작을 도와주는 등 게임 생산성 증진에도 큰 도움이 된다"고 설명했다.

한편 엔씨소프트 NLP 센터는 산업계의 대세가 된 초거대 AI 모델뿐 아니라 실제 사람처럼 시각·청각·언어·감정으로 소통할 수 있는 디지털 휴먼 구현 기술 확보에 집중하고 있다. 특히 자연어처리(NLP) 연구센터인 NLP센터는 사람이 하는 말을 기계가 알아듣고 지식을 결합·추론하거나 인간 뇌에 해당하는 여러 사고 과정을 연구해 사람의 말을 생성하기까지 모든 단계에 대해 종합적으로 연구하고 있다.

고려대학교 컴퓨터학과를 졸업하고 동대학 컴퓨터학과 박사 과정을 밟은 이연수 NLP 센터장은 2014년 엔씨소프트 AI랩, 엔씨소프트 NLP랩 랭귀지 팀장 등을 거쳐 2022년부터 NLP 센터장을 역임하고 있는 AI 전문가다.