엔비디아가 찜한 '분리 추론'…이미 준비된 한국 기업 있었다 [AI브리핑]

[아이뉴스24 윤소진 기자] 엔비디아가 GTC 2026에서 '분리 추론'을 차세대 AI 인프라의 핵심 키워드로 내세운 가운데, 국내 AI 스타트업 모레가 이미 상용 수준의 이종 분리 추론 기술을 확보한 기업으로 주목받고 있다.

분리 추론은 AI가 답을 생성하는 과정을 두 단계로 나눠 처리하는 방식이다. 질문 전체를 이해하는 단계와 답변을 한 단어씩 만들어내는 단계는 요구되는 연산 특성이 다르다. 이를 하나의 칩에 몰아 처리하는 대신 각 단계에 적합한 칩이 나눠 맡도록 해 속도와 비용을 동시에 개선하는 구조다.

젠슨 황 엔비디아 CEO는 GTC 2026 기조연설에서 "처리량과 저지연은 본질적으로 서로 상충한다"며 이 딜레마를 해소하기 위한 방법으로 분리 추론 아키텍처를 전면에 내세웠다.

엔비디아의 차세대 AI 플랫폼 ‘베라 루빈’은 입력 처리 단계는 고성능 루빈 GPU가, 토큰 생성 단계는 초고속 메모리를 갖춘 그록 LPU가 맡는 구조다. 엔비디아는 이를 통해 동일 전력 대비 토큰 처리 성능을 최대 35배까지 높일 수 있다고 밝혔다. 업계에서는 이번 발표를 두고 ‘단일 GPU가 모든 것을 처리한다’는 기존 전략에서 벗어난 전환점으로 평가했다.

AI 스타트업 모레, GPU·NPU 통합에 자동 최적화까지

이처럼 엔비디아가 분리 추론에 승부수를 띄운 가운데 국내 AI 스타트업 모레가 엔비디아보다 앞서 이종 가속기 기반 분리 추론 기술을 개발해 주목받고 있다.

모레의 'MoAI 추론 프레임워크'는 엔비디아·AMD·텐스토렌트 등 서로 다른 제조사의 GPU와 NPU를 하나의 시스템처럼 묶어 운용하는 구조를 갖추고 있다. 서로 다른 가속기는 드라이버와 메모리 구조가 달라 통합이 쉽지 않지만, 이를 단일 추론 파이프라인으로 연결한 것이 핵심이다.

엔비디아가 자사 GPU 생태계 내 분리 추론에 집중하는 것과 달리, 모레는 제조사가 다른 칩까지 포함해 최적의 조합을 자동으로 구성하는 ‘벤더 중립형’ 접근을 취한다.

자동화도 차별점이다. 사용자가 원하는 응답 속도 목표만 설정하면, 시스템이 실시간 부하를 분석해 어떤 칩에 어떤 역할을 맡길지 스스로 결정하고 조정한다. 기존처럼 가속기별로 엔지니어가 직접 설정을 조정해야 하는 방식과 대비된다.

성능과 비용 측면에서도 효과가 확인됐다. 모레에 따르면 AMD MI300X 기반 분리 추론 환경에서 토큰당 비용 지표는 평균 109%, 최대 147%의 경제성 개선 효과를 보였다. 또한 5개 노드 환경에서 분리 추론을 적용할 경우 응답 속도는 평균 1.35배, 처리량은 평균 1.2배 향상됐으며, 특정 고부하 구간에서는 지연 시간이 최대 50배 이상 줄어든 것으로 나타났다.

조강원 모레 대표는 "엔비디아의 GTC 2026 발표는 이종 분리 추론이 AI 인프라의 미래임을 전 세계에 확인시켰다"며 "모레는 이미 H100과 MI300X를 동시에 활용하는 이종 분리 추론 기술을 실제 환경에서 검증했으며, 엔비디아뿐 아니라 AMD 등 GPU와 텐스토렌트·국산 AI 반도체 등 NPU를 아우르는 더 넓은 생태계를 지원함으로써 특정 벤더에 종속되지 않는 AI 인프라 선택지를 제공할 것"이라고 말했다.