AI·빅데이터 처리, 차세대 메모리 확장 플랫폼이 책임진다

[아이뉴스24 정종오 기자] 차세대 메모리 확장 플랫폼이 개발됐다.

카이스트(KAIST) 연구팀이 자체 개발한 메모리 확장 플랫폼은 그래프 분석, 인메모리 데이터베이스 처리 등 대규모 데이터를 다루는 최신 응용처리를 기존 메모리 확장 플랫폼 대비 메모리 용량을 대폭 늘리면서도 최대 3배 빠르게 가능하다는 게 특징이다.

KAIST(총장 이광형)는 전기및전자공학부 정명수 교수 연구팀(컴퓨터 아키텍처 및 메모리 시스템 연구실)이 대용량 메모리 장치부터 프로세스를 포함한 컴퓨트 링크(CXL) 2.0 기반의 차세대 메모리 확장 플랫폼 ‘다이렉트CXL(DirectCXL)’프로토타입 제작, 운영체제가 실장된 단대단(End-to-End) 시연에 성공했다고 1일 발표했다.

최근 빅데이터 분석, 그래프 분석, 인메모리 데이터베이스 등 대규모 데이터에 기반한 응용처리가 증가함에 따라 데이터 센터에서는 이를 더 빠르고 효율적으로 처리하기 위해 시스템 메모리 확장에 많은 투자를 하고 있다.

우리가 흔히 알고 있는 메모리 확장 방식인 더블 데이터 대역폭(DDR) 인터페이스를 통한 메모리 확장은 추가할 수 있는 메모리 개수의 제한이 있다. 대규모 데이터 기반의 응용을 처리하기에 충분치 않다.

데이터 센터에서는 CPU와 메모리로 이뤄진 메모리 노드들을 따로 구성하고, 응용을 수행하는 호스트의 메모리가 부족하면 네트워크로 연결된 메모리 노드를 자신의 메모리 공간으로 사용하는 원격 데이터 전송 기술(RDMA) 기반의 메모리 확장을 사용한다.

여러 메모리 노드를 사용하는 RDMA 기반의 메모리 확장을 통해 데이터센터는 시스템의 메모리 크기를 늘릴 수 있었는데 여전히 해결해야 할 문제들이 남아있었다.

RDMA 기반 메모리 확장 시스템에서는 노드 간 데이터가 이동할 떼 불필요한 데이터 복사, 소프트웨어의 개입, 프로토콜 전환으로 인한 지연을 발생시켜 성능이 떨어진다.

여기에 시스템의 메모리를 확장할 때 메모리만을 추가할 수 있는 것이 아닌, 메모리와 메모리를 제어할 CPU가 하나의 메모리 노드를 이뤄 시스템에 추가돼야 했기 때문에 추가 비용 소모가 발생했다.

최근 컴퓨트 익스프레스 링크(Compute Express Link, CXL) 프로토콜의 등장으로 많은 메모리 고객사와 제조사가 이러한 문제를 해결할 가능성을 확인하고 있다. CXL은 PCI 익스프레스(PCIe) 인터페이스 기반의 CPU-장치(Device) 간 연결을 위한 프로토콜로 이를 기반으로 한 장치 연결은 기존보다 높은 성능과 확장성을 지원하는 것이 특징이다.

KAIST 정명수 교수 연구팀이 전 세계 최초로 프로토타입한 CXL 2.0 기반 메모리 확장 플랫폼 ‘DirectCXL’은 높은 수준의 메모리 확장성을 제공한다. 빠른 속도로 대규모 데이터 처리를 가능케 한다.

이를 위해 연구팀은 메모리를 확장해 줄 장치인 ‘CXL 메모리 장치’와 호스트 ‘CXL 프로세서(CPU)’, 여러 호스트를 다수의 CXL 메모리 장치에 연결해주는 ‘CXL 네트워크 스위치’ 그리고 메모리 확장 플랫폼 전반을 제어할 리눅스 운영체제 기반의‘CXL 소프트웨어 모듈’을 개발해 플랫폼을 구성했다.

구성된 ‘DirectCXL’ 플랫폼을 사용한 시스템에서는 확장된 메모리 공간에 직접 접근해 데이터를 CPU의 캐시로 가져와 불필요한 메모리 복사와 소프트웨어의 개입이 없었다. PCIe 인터페이스만을 사용해 프로토콜 전환을 없애 지연시간을 최대한 줄였다.

추가 CPU가 필요 없는 CXL 메모리 장치를 CXL 스위치에 연결하는 것만으로 메모리 확장이 가능해 효율적 시스템의 구성이 가능했다. 국내외 소수 대기업에서 메모리 장치 일부 단품에 대한 구성을 보여준 준 사례는 있었는데 CXL 2.0 기반, CPU부터 CXL 스위치, 메모리 장치가 장착된 시스템에서 운영체제를 동작시키고 데이터 센터와 응용을 실행하고 시연한 것은 정명수 교수 연구팀이 처음이다.

정명수 교수는 "이번에 개발된 ‘DirectCXL’은 기존 RDMA기반 메모리 확장 솔루션보다 훨씬 적은 비용으로도 뛰어난 성능과 높은 확장성을 제공하는 만큼 데이터센터나 고성능 컴퓨팅 시스템에서의 수요가 클 것으로 기대한다ˮ며 "CXL 2.0 기반의 단대단 프로토타입 플랫폼을 활용해 CXL이 적용된 새로운 운영체제(OS)는 물론 시스템 소프트웨어, 솔루션 시제품 고도화를 통해 앞으로 CXL을 활용한 시스템 구축에 초석을 제공할 것ˮ이라고 말했다.

이번 연구(논문명: Direct Access, High-performance Memory Disaggregation with DirectCXL)는 미국 칼스배드에서 지난 7월에 열린 시스템 분야 학술대회인 유즈닉스 연례 회의 ‘USENIX Annual Technical Conference, 2022’에서 발표됐다.