SK하이닉스 "생성형 AI 가속기 카드, GPU 대체 가능"

[아이뉴스24 민혜정 기자] SK하이닉스가 인공지능(AI) 작동에 필수적인 그래픽처리장치(GPU)를 자사 가속기카드로 대체할 수 있다고 자신했다. 메모리 반도체에 연산 기능을 더한 PIM이 들어간 가속기 카드로 데이터 처리 속도를 높이고, 소모 전력은 아낄 수 있어 GPU와도 경쟁할 수 있다는 설명이다.

김일곤 SK하이닉스 TL은 16일 서울 코엑스에서 열린 'SK 테크 서밋'에서 "AiM을 기반으로 생성형 AI 모델을 위한 가속기 시제품(AiMX)을 개발했다"며 "가속기는 GPT와 같은 초거대 언어 모델에서 GPU 대비 높은 효율을 보여줄 수 있다"고 강조했다.

AiMX는 SK하이닉스의 PIM 적용 첫 제품인 'GDDR6-AiM' 여러 개와 컨트롤러를 연결해 만든 대규모 언어 모델(LLM) 특화 가속기 제품이다. 현재는 AI를 구동할 때 GPU와 그래픽 전용 D램(GDDR)을 장착한 그래픽카드가 쓰인다. SK하이닉스가 개발한 가속기 카드는 고용량 이미지, 영상 등을 처리하는 그래픽카드와 달리 AI 구동에 특화됐다. GPU는 미국 AI 반도체 기업 엔비디아가 장악하고 있다.

일반적인 그래픽카드는 연산 기능을 하는 GPU와 데이터를 임시 저장하는 D램이 각각 존재해 병목 현상이 발생할 수 있는 반면 PIM을 적용한 AiMX는 데이터 이동 정체가 적다. 생성형 AI는 데이터 학습량이 많을수록 우수한 결과를 내기 때문에 대량의 데이터를 효율적으로 처리하는 메모리가 필수다.

SK하이닉스는 LLM에서 AiMX가 GPU 대비 성능이 뛰어나다고 강조했다. 김 TL은 "LLM에서 AiMX가 GPU 대비 응답속도가 13배가 빠르다"며 "전력 소모량이 17% 적은 것으로 나타났다"고 말했다.

김 TL은 AiMX가 GEMV 처리에도 적합하다고 설명했다. GEMV는 행렬과 벡터를 곱하는 함수로 LLM을 이루는 중요한 요소다. 김 TL은 "AiM을 통해 통해 GEMV 92%를, AiM 컨트롤 허브를 통해 나머지 8%도 처리할 수 있다"고 강조했다.