엔씨, '블소 월챔' 결선서 인공지능 '비무 AI' 공개

[아이뉴스24 김나리 기자] 엔씨소프트가 온라인 게임 '블레이드앤소울'에 적용해 개발한 인공지능(AI) 기술 '비무 AI'를 공개했다.

엔씨소프트는 15일 서울 송파구 올림픽공원 SK올림픽핸드볼경기장에서 자사 유일의 글로벌 e스포츠 대회인 '블레이드&소울(블소) 토너먼트 2018 월드 챔피언십' 결선을 개최했다.

블소 토너먼트 월드 챔피언십은 엔씨의 대규모다중접속역할수행게임(MMORPG) 블소 내 이용자 간 대결(PvP) 콘텐츠인 '비무(比武)'를 기반으로 한 e스포츠 대회다.

이날 현장에서 열린 블라인드 매치를 통해 비무 AI가 공개됐다. 블라인드 매치에서는 유럽의 니콜라스 파긴슨 선수와 중국의 하오란 선 선수, 한국의 최성진 선수 등 프로게이머 3명이 공수 균형, 방어형, 공격형 등 각기 다른 3종류의 비무AI와 차례대로 대전을 치렀다.

그 결과 유럽, 중국 선수는 비무 AI에 승리했지만, 한국 선수는 패배했다. 다만 한국 선수가 상대한 공격형 AI는 세 가지 중 가장 강력한 AI로 지금까지 사람을 상대로 한 번도 패배한 적이 없다는 게 엔씨 측 설명이다.

엔씨 관계자는 "연구팀은 프로게이머들도 충분히 잘 상대해 줄 수 있을 뿐만 아니라 다양한 보는 재미를 줄 수 있는 AI를 만들고자 했다"며 "그래서 학습 방법에 변화를 줌으로써 공격형, 방어형, 공수 균형 등 개성을 부여했다"고 말했다.

엔씨에 따르면 공격형 AI는 인파이팅 스타일의 공격형 플레이를 펼친다. 상대방에 근접해서 빨리 승부를 내도록 학습했으며 경기 시간이 길어지거나 상대방과의 거리가 멀수록 안 좋은 점수를 주는 방식으로 훈련했다.

엔씨 측은 "방어형 AI는 상대 체력을 줄이기보다 자신의 체력을 지키는 것을 우선시하기 때문에 거리를 최대한 벌려놓고 유리한 기회를 노리는 전략을 쓴다"며 "공수 균형 스타일 AI에는 별도로 특징을 부여하지 않고, 상황에 따라 공격과 수비 가운데 유리해 보이는 플레이를 하도록 했다"고 말했다.

◆3년 6개월 간 R&D 진행…"프로게이머와도 충분히 대전 가능"

지난 2016년 블소에 AI를 적용한 '무한의 탑 AI'를 선보였던 엔씨는 지난 3월 새로운 AI가 적용된 '비무 2.0'을 선보이겠다고 예고한 바 있다. 이번 블소 토너먼트 2018 월챔 결선 현장이 그 공개 무대가 된 셈이다.

기존 무한의 탑 AI가 실력이 평범한 플레이어도 충분히 상대할 수 있는 수준이었다면, 비무 AI는 '프로게이머와도 충분히 싸울 수 있는 고도의 AI'를 목표로 했다.

엔씨는 3년 6개월간 연구·개발(R&D)을 통해 이 같은 비무 AI 개발을 진행해왔다. 초창기에는 지도학습과 강화학습을 병행, 이용자 로그데이터를 기반으로 AI를 학습하는 방식을 썼고, 이와 동시에 순수한 강화학습만으로 AI를 학습하는 모델을 개발했다.

엔씨 관계자는 "초반에는 지도학습과 강화학습을 병행한 AI가 더 나은 움직임을 보였지만, 점차 순수 강화학습 기반 AI의 승률이 높아졌다"며 "올해 4월 테스트에서는 처음으로 승부가 뒤집혔다"고 말했다.

이에 엔씨는 순수 강화학습 모델 중에서 상대의 공격 패턴이 바뀌더라도 행동 확률에 따른 최적의 의사 결정 정책을 학습해 갈 수 있는 '액터-크리틱(Actor-Critic) 모델'을 블소 비무 AI에 적용했다.

엔씨 관계자는 "그 결과 비무 AI는 알파고 제로와 같이 스스로와 대결하며 성장했고, 올해 7월에 이르러서는 아마추어 고수 이용자들이 손대지 못하는 수준까지 이르렀다"며 "현재는 약 1주(35만 게임)면 프로게이머 수준까지 성장하도록 개발하는 데 성공했다"고 강조했다.

비무 AI와 알파고의 차이점으로는 상대의 반응에 곧바로 대응할 수 있는 '실시간성'이 꼽혔다. 비무 AI는 실시간 격투 게임인 블소 용으로 제작, 실시간으로 상황이 바뀌었을 때 0.1초 내로 어떤 스킬을 써야 할지 결정해야 하기 때문에 바둑과는 달리 연산 시간이 매우 부족하다는 것.

게임 규칙도 바둑에 비해 복잡하다는 설명이다. 비무 AI에는 1틱(0.1초)당 225가지(45개 스킬x이동 방향 5가지)의 선택지가 주어진다. 한 게임은 최대 1천800틱(약 3분) 진행되므로 총 225의 1천800승만큼의 선택지를 가진다. 바둑(10의 768승)보다 경우의 수가 많다.

엔씨 측은 "비무 AI는 어떤 고수 프로게이머를 만나도 적절한 의사 결정을 할 수 있는 수준까지 발전했다"고 자평하며 "기존 강화학습 기술에 딥러닝을 접목한 형태인 '심층 강화학습' 기반 AI를 사용하기 때문에 스킬 사용이나 움직임 면에서 어떤 규칙도 주지 않고 다양한 상대 AI에 대응하는 의사결정 정책을 학습할 수 있다"고 설명했다.

◆러시아, 블소 월챔 결승전서 사상 첫 우승

한편 이날 펼쳐진 블소 토너먼트 2018 월드 챔피언십 결승전에서는 러시아의 블랙 아웃팀이 중국의 수퍼 SDJB팀을 꺾고 우승을 차지했다. 블소 윌챔에서 해외팀이 우승한 것은 이번이 처음이다.

결승전에 앞서 열린 준결승전에서는 한국의 GC부산 레드가 블랙 아웃과 경기를 펼쳤으나 아쉽게 패배했다.

최종 우승팀인 블랙 아웃팀은 5천만원의 상금을 수여받았다. 총상금은 1억 5천만원 규모다.