[아이뉴스24 최효경 기자] 조강원 모레 대표가 인공지능(AI) 데이터센터의 새로운 운영 패러다임으로 '토큰 팩토리(Token Factory)'를 제시하고 이를 구현하기 위한 '토큰 팩토리 OS'와 이기종 가속기 기반 분산 추론 기술을 소개했다.
16일 모레에 따르면, 조 대표는 15~17일(현지시간) 미국 산타클라라 컨벤션센터에서 열리는 'AI 인프라 서밋 2026'에 참가해 이같은 내용을 발표했다. 'AI 인프라 서밋'은 풀스택 AI 인프라의 최신 기술과 전략을 공유하는 글로벌 최대 AI 인프라 전문 행사다.
조강원 모레 대표는 "AI 데이터센터가 GPU 용량을 제공하는 시대에서 벗어나 AI 모델의 토큰을 생산·판매하는 '토큰 팩토리' 시대로 전환하고 있다"고 말했다.
조 대표는 "과거 AI 데이터센터의 핵심 가치가 얼마나 많은 GPU를 확보하고 효율적으로 제공하느냐에 있었다면, 이제는 사용자가 API를 통해 소비하는 토큰을 얼마나 효율적이고 낮은 비용으로 생산할 수 있는지가 데이터센터의 경쟁력을 좌우한다"며 "이에 따라 AI 인프라 역시 개별 GPU의 성능을 높이는 것을 넘어 데이터센터 전체의 추론 경로와 자원을 최적화하는 방향으로 진화해야 한다"고 강조했다.
모레가 제시한 '토큰 팩토리 OS'는 특정 GPU나 특정 추론 엔진에 종속되지 않고 데이터센터에 존재하는 다양한 가속기를 하나의 자원 풀처럼 활용해 토큰 생산 효율을 극대화하는 AI 인프라 소프트웨어다.
모레는 이를 구현하는 대표 기술로 'MoAI Inference Framework'를 소개한다. 서로 다른 가속기를 하나의 클러스터처럼 활용하고, 추론 과정에서 발생하는 작업을 가속기별 특성에 맞춰 분산함으로써 특정 하드웨어의 성능에만 의존하지 않고 전체 인프라의 효율을 높이는 방식이다.
조 대표는 "중요한 것은 특정 GPU의 성능이 아니라 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐"라며 "모레는 이러한 소프트웨어 기술을 기반으로 고객이 특정 하드웨어에 종속되지 않고 자신에게 가장 효율적인 '토큰 팩토리'를 구축할 수 있도록 지원하고, 글로벌 AI 인프라 시장에서 새로운 표준을 만들어 나가겠다"고 말했다.
/최효경 기자(hyomirror@inews24.com)