카카오 자체 개발 LLM 평가 지표 논문, 세계 3대 AI 학회서 채택

[아이뉴스24 정유림 기자] 카카오는 자체 개발한 인공지능(AI) 모델의 오케스트레이션 능력 평가 지표(오케스트레이션 벤치마크)가 세계 3대 AI 학회인 국제표현학습학회(ICLR) 논문으로 채택됐다고 3일 밝혔다.

ICLR은 글로벌 빅테크(대형 IT 기업)가 주목하는 AI 분야의 최고 학술대회다. ICLR에는 약 1만9000여 건의 논문이 제출됐으며 이 가운데 상위 28%만 채택됐을 정도로 경쟁이 치열하다.

카카오는 최근 대형 언어모델(LLM)이 단순 질의응답을 넘어 이용자가 요구하는 다양한 종류의 작업을 계획하고 조율하는 '에이전틱 AI'로 고도화되고 있는 기술 트렌드에 주목해 이번 벤치마크를 개발했다고 설명했다. 실제 서비스 환경에서의 멀티 스텝과 멀티 도메인 처리 능력을 평가하는데 초점을 맞췄다.

카카오 관계자는 "기존 벤치마크는 단편적인 성능 평가에 그쳐 복잡한 이용자 요청을 해석해 적절한 도구를 호출하고 다양한 작업 간 의존 관계를 관리하는 오케스트레이션 능력을 평가하는데 한계가 존재했다"며 "실제 서비스 시나리오를 기반으로 AI 모델의 작업 계획과 도구 실행을 분리해 정밀하게 평가하는 새로운 프레임워크를 제시했다"고 설명했다.

이번 벤치마크는 여행·쇼핑·금융·일정 등 17개 서비스 도메인과 100여 개 가상 도구를 포함해 구성했다. 이용자 요청 변경이나 추가 질문 등과 같은 실제 서비스 상의 대화 흐름을 토대로 시나리오를 구축해 실용성을 높였다.

카카오는 모든 평가 데이터를 AI 어노테이터(데이터 라벨러)의 수작업을 통해 구축·검증했다고 설명했다. 한국어와 영어 2가지 언어를 지원한다. 한국어의 경우 문화적 특성과 맥락을 반영해 평가의 정확도와 신뢰도를 높인 것이 특징이다.

카카오는 글로벌 AI 생태계 활성화에 기여하고 연구 개발 성과의 자유로운 활용을 위해 논문을 오픈소스 플랫폼 깃허브에 공개했다.

카카오 관계자는 "향후에도 에이전트 간 협업, 오케스트레이션 능력 강화를 위한 연구를 지속할 예정"이라며 "카카오의 에이전틱 AI 방향성에 부합하는 기술의 고도화를 추진해 갈 계획"이라고 밝혔다.