크라우드웍스, 독자AI 모티프 정예팀 합류…핵심 데이터 공급 전담

[아이뉴스24 윤소진 기자] AI 테크 기업 크라우드웍스는 과학기술정보통신부의 '독자 AI파운데이션 모델 개발 사업' 추가 공모에 선정된 모티프테크놀로지스 컨소시엄에 데이터 공급 핵심 파트너로 참여한다고 24일 밝혔다.

이번 사업에서 크라우드웍스는 모티프 컨소시엄이 추진 중인 3000억(300B) 파라미터급 ‘추론형 거대언어모델(LLM)’ 개발을 위한 고품질 데이터 공급을 책임진다. 모델의 지능적 사고 역량을 극대화하기 위해, 단순 가공을 넘어 ‘단계별 추론(Chain-of-Thought, CoT) 특화 학습 데이터셋’ 구축에 핵심 역량을 집중한다.

크라우드웍스는 자체 개발한 비정형 문서 데이터 전처리 솔루션인 ‘알피 날리지 컴파일러’를 투입한다. 이를 통해 표, 차트 등 복잡한 구조를 가진 비정형 문서를 정교하게 파싱하여 AI가 이해할 수 있는 ‘AI-Ready’ 데이터로 변환한다.

크라우드웍스는 이번 정예팀 합류 이전부터, ‘국대 AI’ 정예팀에 고품질 학습 데이터를 지속적으로 공급해 왔다. 지난해 하반기에는 저작권 문제를 해결한 도서 데이터 등을 제공해 왔으며, 한국 사회의 언어적·문화적·시대적 맥락을 정교하게 반영한 ‘방송영상 이해 데이터셋’ 구축 사업까지 성공적으로 완료했다.

크라우드웍스 관계자는 “추론형 LLM의 지능은 얼마나 논리적이고 정교한 데이터를 학습하느냐에 달려 있다”며 “데이터 정제 기술과 고품질 데이터 구축 노하우를 결집해 글로벌 빅테크와 경쟁할 수 있는 독자 AI 모델 개발을 완벽하게 뒷받침할 것”이라고 말했다.