[아이뉴스24 서효빈 기자] KT는 기업용 소버린 AI 어플라이언스 'KT NPU LLM Station'을 출시했다고 19일 밝혔다. 어플라이언스는 하드웨어와 소프트웨어가 결합된 완제품형 장치를 뜻한다.
KT NPU LLM Station은 국내 AI 반도체 기업 리벨리온의 신경망처리장치(NPU) 'ATOM-MAX'에 KT가 독자 개발한 LLM '믿음 K 2.5 Pro'와 운영 응용프로그램 인터페이스(API) 플랫폼을 탑재한 일체형 제품이다.
ATOM-MAX는 AI 추론에 특화된 국산 NPU다. 공인 시험을 통해 동급 그래픽처리장치(GPU) 대비 높은 처리 성능과 전력 효율을 검증받았다. 믿음 K 2.5 Pro는 고난도 추론과 AI 에이전트 활용에 강점을 가진 KT의 독자 모델이다.
KT는 AI 반도체부터 모델과 운영 플랫폼까지 핵심 기술을 국내 기술로 구성했다. 이를 통해 정부가 추진하는 소버린 AI 정책 방향을 기업 현장에서 구현할 수 있다는 설명이다.
보안도 강화했다. 제품을 고객사 내부에 설치해 모든 데이터와 AI 연산이 사내에서만 처리되도록 했다. 망분리 등 관련 규제와 보안 문제로 해외 생성형 AI 도입에 제약을 받았던 공공·국방·제약·제조·금융 등의 산업을 공략한다.
서버와 AI 모델, 플랫폼을 하나의 완제품형 장치로 제공해 도입 부담도 낮췄다. 별도 구축 과정 없이 설치 당일부터 사내 문서 기반 질의응답(RAG) 등 AI 기능을 사용할 수 있다.
추론 특화 NPU를 채택해 동급 GPU 서버보다 전력 효율을 높였다. 업계 표준 API도 제공한다. 기업이 기존 AI 서비스의 접속 정보만 변경하면 별도의 코드 수정 없이 호환해 사용할 수 있다.
KT는 향후 회의록 작성과 코딩 지원, 업무 자동화 에이전트 'K-Claw(가칭)' 등 자체 개발한 AI 에이전트를 순차적으로 탑재한다. 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로도 확장할 계획이다.
KT NPU LLM Station의 활용 영역을 피지컬 AI를 위한 엣지 데이터센터(Edge DC)로 확대한다. 이를 통해 저전력·저지연 AI 인프라 구축에도 나설 예정이다.
이진형 KT AX사업본부장(상무)은 "KT NPU LLM Station은 KT의 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것"이라고 말했다.
/서효빈 기자(x40805@inews24.com)