[아이뉴스24 최효경 기자] 전병곤 프렌들리AI 대표가 기업의 오픈 모델 도입과 관련해 '어떤 모델을 고를지'만큼 '어느 추론 사업자에서 돌릴지'가 중요해졌다고 했다. 같은 모델도 실제 서비스에서 구동하는 방식에 따라 품질과 응답 속도, 비용, 안정성, 데이터 통제 수준이 달라지는 만큼 자사 AI 추론 엔진으로 이를 함께 해결하겠다는 전략이다.
"같은 모델도 제공사 따라 품질·속도 달라⋯토큰 생성 시간 격차 최대 '140배'
전병곤 대표는 4일 서울에서 오픈 모델 플랫폼 올라마(Ollama)와 공동으로 연 기업 대상 행사에서 이같이 말했다. 그는 "하나의 모델을 여러 사업자가 제공하는 구조의 오픈 모델은 어느 제공사를 선택하느냐가 실제 제품과 비즈니스 결과에 큰 영향을 미친다"고 말했다.
전 대표는 기업이 오픈 모델을 실제 서비스에 적용할 때 고려해야 할 요소로 △품질 △성능 △비용 △안정성 △데이터 통제권 등 다섯가지를 제시했다. 전 대표는 "프렌들리AI는 이 다섯 요소를 갖춘 AI 추론 사업자로 자리 잡겠다"는 목표다.
전 대표가 제시한 자료에 따르면 베르셀 AI 게이트웨이(Vercel AI Gateway)에서 중국 Z.ai(지푸 AI)의 플래그십 모델 GLM-5.3을 제공하는 27개 사업자를 비교했을 때 첫 토큰 생성 시간은 0.2초에서 22초까지 벌어졌다. 모델이 답변을 생성하는 토큰당 시간도 2.5밀리초(ms)에서 59ms로 차이가 났다.
그는 "여러 차례 도구를 호출하고 긴 맥락을 처리하는 AI 에이전트 환경에서 추론 성능의 격차가 더 크게 드러난다고"며 "가장 빨랐던 1위 업체는 프렌들리AI"라고 했다. 답변이 중간에 끊기거나, 트래픽이 몰렸을 때 요청이 거절되고 응답이 늦어지는 문제는 벤치마크만으로는 드러나지 않는 실제 서비스 운영의 변수라는 설명이다.
프렌들리AI는 다수 이용자의 요청을 묶어 처리하고 이미 계산한 결과를 재활용해 GPU 활용률을 높이는 방식으로 이를 해결한다고 밝혔다. 전 대표는 "그래픽저장장치(GPU) 한 장에서 두 배 많은 토큰을 생산할 수 있다면 같은 업무를 처리하는 GPU 비용은 절반으로 줄어드는 것"이라고 말했다.
전용 GPU·자체 인프라까지⋯"기업별 추론 방식 제시"
전 대표는 수많은 추론 사업자 가운데 프렌들리AI의 강점이 고객이 최신 오픈 모델을 즉시 이용할 수 있는 모델 응용프로그램 인터페이스(API), 전용 GPU와 서비스 수준 협약(SLA)을 제공하는 전용 엔드포인트(Dedicated Endpoints), 고객이 보유한 GPU에서 자사 추론 엔진을 구동하는 BYOG(Bring Your Own GPU)를 제공하는 점이라고 제시했다.
그는 "초기 도입이나 트래픽 변동이 큰 서비스에는 모델 API를, 예측 가능한 성능과 배포 통제가 필요한 기업에는 전용 엔드포인트를, 자체 GPU를 갖춘 기업에는 BYOG를 제시하는 식"이라며 "특정 GPU나 모델 복제본에 장애가 발생하면 정상 복제본으로 요청을 넘기는 이중화 구조를 통해 99.9% 이상의 가동률 SLA도 제공한다"고 설명했다.
데이터 통제도 차별점으로 내세웠다. 전 대표는 "프롬프트와 응답을 기본적으로 보관하지 않고 모델 학습에 활용하지 않으며, 한국 내 GPU와 미국·유럽 인프라 중 기업이 원하는 지역을 선택할 수 있다"고 말했다.
이 같은 전략의 사례로는 국내 AI 스타트업 기업 라이너의 AI 리서치 서비스 '라이너 스칼라'를 들었다. 전 대표는 "라이너는 기존 폐쇄형 모델과 프렌들리AI에서 구동한 GLM을 온라인 A/B 테스트로 비교한 결과, 답변 1회당 대규모언어모델(LLM) 비용을 약 30% 낮추고 평균 응답 시간도 약 25% 줄였다"고 말했다.
한편 이날 이날 행사는 프렌들리AI가 오픈소스 AI 개발 플랫폼 올라마와 한국 기업의 오픈 모델 도입, 실제 서비스 운영 방안 등을 논의하기 위해 마련했다. 올라마가 개발자가 여러 오픈 모델을 고르고 로컬·클라우드 환경에서 활용하도록 돕는다면, 프렌들리AI는 선택한 모델을 실제 서비스에서 빠르고 안정적으로 운영하는 추론 사업자 역할을 맡는다.
제프리 모건 올라마 공동창업자 겸 최고경영자(CEO)는 기업의 오픈 모델 도입 배경으로 비용, 개인정보 보호, 통제권을 꼽았다. 그는 "AI 에이전트 활용이 늘수록 모델 사용료가 빠르게 불어나고, 기업이 외부 모델에 데이터와 운영 주도권을 맡기는 구조에 대한 부담도 커지고 있다"며 "기업이 특정 모델이나 클라우드에 종속되지 않고 업무별로 모델과 실행 환경을 고를 수 있어야 한다"고 말했다.
/최효경 기자(hyomirror@inews24.com)