스플렁크 "하둡을 쉽게" 신제품 헝크 발표

[김관용기자] 데이터 인덱싱(indexing) 솔루션인 스플렁크가 비정형데이터 처리 기술인 하둡과 한 배를 탔다. 하둡분산파일시스템(HDFS)의 데이터를 쉽게 분석하고 활용할 수 있도록 하는 신기술 '헝크(Hunk)'를 발표한 것이다.

스플렁크 코리아(대표 조용대)는 9일 한국종합무역센터에서 하둡 분석 솔루션인 헝크를 소개하는 제품 발표회를 개최했다. 헝크는 하둡에 저장된 데이터의 신속한 탐색과 분석, 시각화를 지원하는 플랫폼.

하둡은 분산 시스템 상에서 대용량의 데이터 처리와 분석을 지원하는 기술이다. 오픈소스 소프트웨어 기반의 하둡은 전통적인 관계형 데이터베이스관리시스템(DBMS)으로는 한계가 있는 페타바이트(PB)급 이상의 비정형 데이터의 수집과 분석에 활용됨으로써 빅데이터 솔루션의 대표주자로 각광받고 있다.

문제는 하둡을 통해 빅데이터 플랫폼을 만들어도 기업 내부 시스템과 연동하기가 쉽지 않고 하둡 개발 과정도 복잡해 도입이 쉽지 않다는 점이다.

스플렁크의 헝크는 이같은 하둡의 문제점을 해소하는 솔루션으로 스플렁크의 인덱싱 기술을 하둡 영역으로까지 확대한 것이다.

스플렁크는 대용량의 다양한 데이터를 분류하고 검색하는 인덱싱 기술을 바탕으로 데이터를 실시간으로 수집하고 검색할 수 있도록 지원하는 소프트웨어다. 다양한 기기들에서 발생하는 크고 복잡한 데이터를 관리할 수 있는 솔루션으로 자리매김하면서 전 세계에 5천개 가까운 고객사를 확보하고 있다.

스플렁크는 이같은 데이터 관리 솔루션을 하둡의 분산파일시스템(HDFS)에도 적용해 하둡에 저장된 데이터를 쉽게 검색해 활용할 수 있도록 했다. 특히 헝크는 데이터 수집과 스키마 인덱싱 등 복잡한 하둡 개발 과정을 단순화하고 검색과 모니터링, 분석, 시각화를 한 번에 지원한다.

스플렁크 제품 마케팅 담당 산자이 메타 부사장은 "헝크는 비용이 발생하는 시스템간 통합이나 강제적인 데이터 전환(마이그레이션)이 필요없고 복잡한 프로그래밍 과정 없이도 하둡에 저장된 데이터와 상호작용하도록 한다"면서 "이를 통해 간편한 개발 과정과 신속한 분석을 지원한다"고 설명했다.

하둡에 저장된 데이터를 활용할 수 있도록 하는 헝크의 핵심 기술은 '스플렁크 버추얼 인덱스'를 통해 구현된다. 스플렁크 버추얼 인덱스는 현재 스플렁크가 특허 출원 중인 기술로 데이터의 실제 존재 위치는 외부지만 이를 원하는대로 끌어다 활용하고 시각화시키는 기능을 수행한다.

또한 하둡 클러스터 내에서 헝크를 실행하면 즉시 데이터 탐색 작업을 시작하며 하둡 내의 데이터를 상호 연계시켜 트렌드를 파악하고 관련 패턴을 식별한다.

이와 함께 고급 그래프와 차트를 실시간으로 작성하고 이를 다른 사용자들과 공유할 수 있도록 하며 다양한 대시보드를 만들 수 있다. 이를 노트북이나 태블릿 등 모바일기기에서 확인하고 편집할 수도 있다.

산자이 메타 부사장은 "헝크는 실제 현장에서 수많은 고객을 통해 입증된 스플렁크의 빅데이터 기술을 토대로 개발됐다"며 "고가의 스토리지 시스템을 하둡으로 교체하고 있는 기업들이 헝크를 통해 좀더 쉽고 간편하게 빅데이터를 활용할 수 있을 것으로 기대된다"고 말했다.