"아이폰에서도 어려운 초거대언어모델 '라마'…퀄컴은 가능하다"

[아이뉴스24 안세준 기자] 퀄컴이 "초거대언어모델(LLM) 중 70억개의 파라미터를 사용하는 메타의 라마 모델은 아이폰에서도 구현이 어렵다"면서도 "퀄컴을 통하면 가능해진다"고 강조했다. 파라미터(매개변수)란 소프트웨어나 시스템상의 작동에 영향을 미치며, 외부로부터 투입되는 데이터를 말한다.

21일 비네쉬 수쿠마 퀄컴 테크놀로지 시니어 디렉터 겸 AI·ML 제품 관리 총괄은 'The Future of AI is On-device(AI 미래는 온디바이스)'를 주제로 한 발표에서 "70억개의 파라미터를 사용하는 라마를 구동하기 위해서는 30GB에 달하는 램이 필요하다"면서도 "가장 많이 쓰는 아이폰도 6GB 용량의 D램을 사용하기 때문에 구현이 어렵다"고 설명했다.

앞서 퀄컴은 올해 중 100억개의 파라미터를 지원하겠다는 계획을 밝힌 바 있다. 비네쉬 수쿠마 총괄은 이를 재차 강조했다. 그는 "퀄컴은 거대 파운데이션 모델(기반 모델)에 대해 100억개의 파라미터를 올해 말까지 지원할 계획"이라고 밝혔다.

그는 퀄컴이 생각하는 AI의 미래에 대해서도 언급했다. 비네쉬 수쿠마 총괄은 "AI의 미래는 클라우드 기반의 대규모 생성형 AI가 아닌 엣지 기술 기반인 온디바이스에 있다"고 전망했다. 온디바이스 AI의 경우 클라우드 기반 AI와는 달리 개인화(맞춤화) 서비스에 특화된 데다 개인정보 유출 우려 또한 적다고 했다.

온디바이스 AI란 클라우드와 연결이 되지 않아도 작동이 가능한 AI를 말한다.

그는 "최근 인기 있는 챗봇, 챗GPT 같은 경우 여러 가지의 개인정보가 서버로 보내진 뒤 여러 환경에 대해 트레이닝을 하게 된다"며 개인정보 유출 가능성을 시사하면서도 "하지만 에지 단위로 가져오게 되면 사용자에 대한 정보가 디바이스를 떠나지 않고 디바이스 내에 머무를 수 있다"고 설명했다.

퀄컴은 온디바이스 AI가 결합된 하이브리드 AI 기술 혁신을 주도하고자 노력하고 있다. 비네쉬 수쿠마 총괄은 "만일 에지 단말기에서 해결이 어려운 워크로드(주어진 시간 안에 컴퓨터 시스템이 처리해야 하는 작업의 양)의 경우 하이브리드 AI를 통해 해결할 수 있다"고 전했다.

비네쉬 수쿠마 총괄은 이 자리에서 스냅드래곤 칩셋과 주요 경쟁사 제품과의 벤치마크 테스트 결과도 공개했다. 테스트 결과에 따르면 스냅드래곤 칩셋은 경쟁사 대비 배터리 잔량 효율과 초당 추론 성과에서 약 두배 이상 높은 성능을 기록한 것으로 집계됐다. 경쟁사 제품명은 거론되지 않았다.

그는 "서피스프로9(마이크로소프트 노트북)을 통해 비교한 결과 (배터리 잔량 효율 등에서) 상당한 개선이 있음을 알 수가 있다"고 말했다.