"작지만 강하다"…MS표 소형언어모델 '파이-3.5'

[아이뉴스24 윤소진 기자] 마이크로소프트(MS)의 최신 소형 언어 모델(SLM) 파이-3.5 시리즈가 대형 모델 대비 높은 비용 효율성과 우수한 성능으로 주목받고 있다.

27일 MS에 따르면 파이-3.5 시리즈는 △미니 △비전 △전문가 혼합(MoE) 등 세가지 모델로 구성됐다.

파이-3.5-미니는 38억 개의 파라미터로 구성된 모델이다. 긴 문서 요약, 멀티턴 대화 및 정보 검색 작업에 탁월한 성능을 발휘한다. 특히, 12만8000개의 컨텍스트 길이를 지원하며, 긴 문서나 회의록 처리에서 강력한 성능을 보여준다. 영어 및 다양한 언어에서 고성능을 유지하며, 특히 아랍어, 네덜란드어, 핀란드어 등의 언어에서 성능이 크게 개선된 것이 특징이다.

파이-3.5-비전은 멀티 프레임 이미지 이해와 추론 능력을 강화한 모델이다. 이 모델은 이미지 및 비디오 데이터 처리에서 뛰어난 성능을 보인다. 단일 이미지 벤치마크에서 성능이 크게 개선됐다. 예를 들어, MMMU 성능이 40.4에서 43.0으로, MMBench 성능이 80.5에서 81.9로 개선됐다. 또한, 문서 이해 벤치마크인 TextVQA에서도 성능이 70.9에서 72.0으로 크게 향상됐다.

파이-3.5-MoE는 총 420억 개의 파라미터 중 66억 개의 활성 파라미터를 사용한다. 이 모델은 특히 다국어 지원과 긴 컨텍스트 처리에서 탁월한 성능을 발휘하며, 비슷한 크기의 모델들보다 효율적이다. 20개 이상의 언어를 지원하며 강력한 안전 조치와 합성 명령어를 결합해 사용자가 안전하고 신뢰할 수 있는 AI를 구축할 수 있도록 돕는다

MS는 "파이-3는 언어, 추론, 코딩, 수학 등 다양한 벤치마크에서 유사하거나 더 큰 모델보다 우수한 성능과 비용 효율을 제공한다"며 "이번에 새롭게 공개된 파이-3.5 모델은 오픈 소스 커뮤니티와 애저(Azure) 고객을 위해 경제적이면서도 고성능 옵션을 제공하며, 소형 언어 모델과 생성형 AI의 경계를 넓히고 있다"고 설명했다.