SW업체들 "빅데이터엔 '인메모리' 기술이 정답"

[김수연기자] 기업용 소프트웨어(SW) 업체들이 '인메모리' 기술을 앞세워 빅데이터 시장을 공략하고 있다. 공략 무기는 인메모리 기술이 지닌 빠른 대용량 데이터 처리 능력.

SAS는 고급통계분석 작업을 메모리상에서 구현하는 '인메모리 애널리틱스' 기술로 특허를 출원하고 전세계 빅데이터 시장을 공략하고 있고 SAP코리아는 지난해 7월 국내 시장에 출시한 인메모리 어플라이언스 제품 'SAP 하나(HANA)'로 빅데이터 처리에 혁신을 꾀하겠다는 전략이다.

국내 기업인 알티베이스는 최근 신제품 발표 간담회에서 인메모리 기술을 근간으로 하는 빅데이터 대응 제품 로드맵을 공개하며 외산 DBMS와 당당히 경쟁하겠다는 포부를 밝혔다.

방대한 양의 데이터가 빠른 속도로 생성되고 있는 빅데이터 환경에서는 전통적인 디스크 기반 시스템이 적시에 데이터를 처리하기 어려워 인메모리 기술이 필수라는 게 이들의 공통된 주장이다.

인메모리 기술은 데이터 분석과 저장에 메인 메모리를 사용하는 기술로, 자료 검색과 접근이 하드디스크에 저장하는 일반 데이터베이스(DB)보다 빠르다는 게 강점이다. 특히 필요한 모든 정보를 메모리상의 색인(Index)을 통해 빠르게 검색해주는 특성 덕에 데이터 검색에 드는 시간을 줄일 수 있다.

◆ SAS "'인메모리 애널리틱스'로 메모리에서 고급분석을"

SAS는 빅데이터 시장을 겨냥해 대규모 데이터의 분석, 시각화, 예측, 데이터 마이닝 등 고급 통계 분석에 수반되는 모든 작업을 메모리상에서 처리할 수 있도록 해주는 '인메모리 애널리틱스' 기술을 개발했다.

SQL 기반의 인메모리 분석과는 달리, 메모리에서 고급 통계 분석이 가능하다는 것이 '인메모리 애널리틱스'의 강점이다. 이러한 강점 때문에 기업들은 빠른 속도로 쏟아져 나오는 빅데이터들을 적시성 있게 분석해 의사 결정 과정에 반영할 수 있다.

SAS 코리아 이진권 상무는 "인메모리 애널리틱스는 멀티스래드(Multithreaded)를 처리할 수 있는 핵심 기술이 적용돼 데이터를 메모리상에서 병렬 처리할 수 있고 이를 통해 기존 대용량 데이터 분석 방법보다 30배 이상 빠른 속도로 고급 통계 분석 작업을 진행할 수 있다"고 설명했다.

'인메모리 애널리틱스'가 패스트패션 산업에 적용될 경우, 데이터 분석을 통해 제품의 가격을 예측해 내는 작업을 완료하는 데 소요되는 시간을 기존 34시간에서 2시간으로 줄일 수 있다는 게 SAS 측 분석이다.

이러한 '인메모리 애널리틱스' 기술은 현재 SAS 하이퍼포먼스 애널리틱스, SAS 하이퍼포먼스 리스크, SAS 하이퍼포먼스 스트레스 테스팅, SAS 비주얼 애널리틱스 등의 솔루션에 적용돼 있다.

뱅크오브아메리카(Bank of America), 싱가포르 UOB(United Overseas Bank), 메이시스(Macy’s) 등 금융, 유통 산업 부문에서 '인메모리 애널리틱스' 기반 솔루션들을 도입한 상황.

국내에는 아직 도입 사례가 없지만 지난해부터 빅데이터가 핫이슈로 부상하고 있는 만큼, 올해에는 한국 시장에서도 도입이 이어질 것으로 SAS는 전망하고 있다.

이진권 상무는 "국내에서는 빅데이터에 대한 관심이 지난해부터 높아지기 시작한 만큼, 앞으로 고객 사례가 많이 발생할 수 있을 것"이라며 "신용 리스크를 예측해야 하는 금융권, 가격 최적화 작업을 해야 하는 유통 부문에서 도입 사례가 이어질 것으로 보인다"고 전망했다.

◆ SAP "'HANA', 빅데이터 분석에 혁신 가져올 제품"

SAP는 지난해 7월 국내 시장에 선보인 인메모리 어플라이언스 제품 'SAP 하나(HANA)'로 빅데이터 분석의 혁신을 꾀하고 있다.

'SAP 하나(HANA)'는 메모리에 모든 데이터를 저장해 데이터 저장·검색 속도를 높인다. 기존 데이터 웨어하우스 솔루션보다 10~50배 빠른 성능을 내기 때문에 빅데이터에 대한 실시간 분석을 수행하는 데 문제가 없다는 설명이다.

또한 인메모리 컬럼(column) 기반 데이터베이스를 활용한 'SAP HANA'에는 컬럼·로(row) 데이터 저장 방식 지원 기술, 차이가 있는 데이터만 저장하는 '인서트 온리온 데이터(Insert only on data)' 기술, 데이터 압축·파티셔닝 기술 등 방대하고 복잡한 데이터를 신속히 처리할 수 있도록 지원하는 다양한 기술이 적용돼 있다.

일본의 노무라 연구소는 'SAP HANA'를 이용해 도쿄에서 운행중인 1만2천 대의 택시에서 발생하는 3억6천만 건의 교통정보를 1초만에 분석해, 최단 이동경로를 운전자들에게 제공하고 있다.

'SAP HANA'를 도입한 글로벌 소비재기업 L사의 경우, 미국 전역에 걸친 70여개의 대형 거래선을 중심으로 약 4천600억 건의 영업시점정보(POS) 데이터 50테라바이트(TB)를 평균 0.04초의 속도로 분석하고 있다. L사는 SAP HANA 도입으로, 매장 판매대 구성에 걸리는 시간을 5일에서 2일로 단축했다.

국내에서는 제조, 소비재 부문의 다수 기업들이 'SAP HANA' 시범 운영 프로젝트를 진행하고 있으며, 2분기 내에 레퍼런스를 확보할 수 있을 것으로 SAP는 내다보고 있다.

SAP은 올 하반기 온라인트랜잭션처리(OLTP)용 HANA DBMS를 출시, HANA를 OLTP와 온라인분석처리(OLAP)를 하나의 플랫폼에서 동시에 처리하는 제품으로 발전시켜 빅데이터 시장 공략에 속도를 내겠다는 전략이다.

◆ 알티베이스 "인메모리 삼형제 'HDB 제타·CEP·익스트림'으로 빅데이터 시장 정조준"

국산 DBMS 기업 알티베이스도 인메모리 기술로 빅데이터 시장을 정조준하고 있다.

알티베이스는 비정형 데이터인 '바이너리 라지 오브젝트(BLOB)', '캐릭터 라지 오브젝트(CLOB)'를 메모리 테이블에 그대로 올릴 수 있도록 하는 기술을 개발, 하이브리드 DBMS 신제품 'HDB 제타'에 이를 적용했다. 인메모리 기술을 고도화시켜 비정형 데이터를 고속으로 처리하도록 했다는 게 알티베이스측 설명이다.

알티베이스는 연내 이 제품보다 5배 빠른 성능을 내는 인메모리 DBMS '알티베이스 익스트림', 인메모리 기술에 기반해 비정형 데이터를 실시간 분석하는 '알티베이스 CEP'를 출시해 빅데이터 분석 제품 라인업을 강화할 계획이다.

김성진 알티베이스 대표는 "많은 양의 데이터가 빠른 속도로 생성되고 있는 빅데이터 환경에서 데이터를 실시간으로 저장·분석하려면 '인메모리' 기술이 필수"라고 강조했다.

알티베이스는 인메모리 기술을 고도화하고, 타사 제품보다 빠른 속도를 내는 DBMS를 시장에 선보여 빅데이터 환경에서 외산 DBMS와 당당히 경쟁하겠다는 전략이다.