[2013 넥스컴]다음 "하둡으로 10시간 로그분석 3시간만에"

[강현주기자] 다음커뮤니케이션이 '하둡'을 활용해 고객분석과 일 로그 분석 시간을 크게 단축했다고 발표했다.

아이뉴스24가 9일 서울 논현동 파티오나인에서 '실제 사례를 통해 보는 빅데이터·클라우드·HTML'을 주제로 개최한 '2013 넥스컴' 행사에서 다음커뮤니케이션 윤석찬 팀장은 자사의 빅데이터 이용 사례를 소개했다.

다음은 빅데이터 분석을 위한 플랫폼인 '하둡'을 로그 분석 및 데이터 분석에 활용했다. 다음은 하루에 70TB의 로그가 발생한다.

윤석찬 팀장은 "하툽을 통해 10시간이 걸리던 로그분석이 3시간으로 단축됐고 130분 단위로 이뤄졌던 고객 정보 분석이 14분단위로 줄었다"며 "10분 단위 실시간 로그 확인이 가능해졌다"고 밝혔다.

윤 팀장은 "기존 방식에 비해 데이터 처리 속도가 향상됐고 데이터 적재기간이 증가했다"고 설명했다.

다음은 검색 광고를 위한 로그 분석에서도 하둡을 활용, 광고 및 클릭 로그 분석을 통한 타게팅을 실시했다.

기존의 분석 방식으로는 6시간이 걸렸던 1일 데이터 처리가 하둡을 통해선 1시간30분이 소요됐다는 게 윤 팀장의 설명이다.

윤 팀장은 "하둡은 데이터 처리비용이 저렴하고 대용량 처리가 가능하며 오픈 소스를 지원하는 등의 장점이 있다"며 "단 프로그래밍 방식의 변화와 내재화 비용이 발생한다"고 설명했다.

그는 "짧은 시간에 너무 많은 데이터가 추가되고 있는 '아고라'에는 데이터 입력시간이 훨씬 짧은 NoSQL을 도입했다"고 밝혔다.

NoSQL은 빅데이터에 활용되는 언어로 실시간 처리 기능을 통해 업데이트가 많은 작업에 적합한 게 특징이다.

윤 팀장은 "하둡은 배치 처리 방식이라 실시간에 적합하지 않고, NoSQL은 데이터 저장은 빠르지만 분석데이터를 걸러내기 어렵다"며 "이에 실시간 분석엔진이 등장하고 있으며 'Storm'이 대표적"이라고 설명했다.

윤 팀장은 "실시간 분석은 빅데이터 분석의 일부분이며 명확한 업무 정의가 된 경우에만 수행해야 한다"며 "기술 도입 전 정말 필요한지 확인해야 한다"고 강조했다.