"수집하고 분석해 미래를 예측하라!"

[안희권기자] 빅데이터가 2011년에 이어 2012년에도 뜨거운 화두가 될 전망이다.

세계 최대 소셜네트워킹서비스업체 페이스북을 비롯해 검색제왕 구글, 최대 유통업체인 아마존에 이르기까지 빅데이터 시장을 주목하고 있다. 이들 업계는 빅데이터 현상이 클라우드 컴퓨팅과 만나 새로운 시장 패러다임으로 자리잡게 될 것으로 보고 이들 시장을 주도하기 위해 분주하게 움직이고 있다.

빅데이터(Big Data)란 일반적으로 데이터베이스(DB) 소프트웨어로 분석할 수 없는 범위를 넘어버린 대규모 데이터를 정의하기도 하고, 다양한 종류의 대규모 데이터에서 중요한 정보 가치를 추출하는 것을 의미하기도 한다. 최근 떠오른 빅데이터 현상은 후자인 방대한 데이터 속에서 가치 정보를 추출하는 것을 말한다.

빅데이터를 제대로 활용할 경우 기업이나 공공분야에서 경쟁력을 확보하고 생산성을 개선하며, 사업혁신과 새로운 사업기회를 발굴할 수 있다. 맥킨지는 빅데이터 활용을 통해 산업 부문별로 약 0.5%에서 1% 생산성을 증가시킬 수 있다고 전망했다. 미국 의료부문에서는 연간 3천300억 달러, 유럽 공공부문에서는 2천500억 유로를 절감할 수 있다고 분석했다.

◆주범은 모바일 데이터와 클라우드

최근 발생하는 데이터 폭발은 스마트폰과 태블릿PC 보급에 따른 데이터 이용량의 폭발적 증가와 관련이 있다. 이들 단말기 사용자는 기존 음성통화 위주에서 벗어나 모바일 인터넷 기반 서비스를 이용하면서 대규모 모바일 데이터량을 유발하고 있다. 통신사는 폭주하는 데이터 수요를 감당하느라 골머리를 썩이고 있다. 데이터 이용량을 줄이기 위해 차등 가격제를 도입하는 통신사도 적지 않다.

사업자의 서비스 모델도 데이터량 폭발을 일으키는 주범이다. 아마존을 비롯해 구글, 애플, IBM 등이 클라우드 컴퓨팅 서비스를 제공하면서 네트워크 기반의 대용량 데이터가 발생하고 있다. 클라우드 서비스가 확산될수록 이런 현상은 더욱 심화될 전망이다.

빅데이터시장은 2012년에 본격 개화될 것으로 예상된다. 하지만 초기 시장 수준을 벗어나지 못할 것이다. 올해 주목받은 팔란티어와 오디아고, 클라우드데라, 호튼웍스 등이 2012년에도 시장을 이끌어갈 것으로 예상된다. 빅데이터 시대에서 제일 중요한 것은 정보수집과 분석이다. 따라서 하두프 기반의 대용량 DB를 분산처리할 수 있는 솔루션 업계가 빅데이터 시장을 이끌어가는 것은 당연한 결과다.

내년에도 이런 분석 솔루션 업계를 중심으로 빅데이터시장이 열린 전망이다. IBM과 HP, 시스코, EMC 등이 빅데이터 업체를 표방하고 있지만 제대로 된 솔루션을 제시하지 않아 시장에서 입지를 다지려면 시간이 걸릴 전망이다. 대신 이들 업체는 부족한 부분인 비정형 데이터 분석을 보강하기 위해 관련 업체 인수 합병을 적극 추진할 것으로 예상된다. 당분간은 인수한 업체의 기술이나 제품을 자사 솔루션과 통합하는 작업에 치중할 것으로 보인다.

◆플랫폼 사업자, 빅데이터 이미 도입

현업측면의 빅데이터 활용은 가속화 될 것으로 예상된다. 의료나 공공정책, 금융, 소매, 제조, 통신분야가 대표적이다. 이들 분야의 대표주자인 구글이나 페이스북, 애플, 아마존, 이베이 등의 플랫폼 사업자는 이미 오래전부터 자체 시스템에 빅데이터를 활용해왔다. 이들 업체는 정보를 수집하고 분석해 이를 서비스에 반영하고 있다. 이들 업계는 빅데이터 활용을 더욱 고도화 할 것으로 분석된다.

구글은 검색엔진을 비롯한 다양한 서비스에 거의 예외없이 대량 데이터의 활용이라는 요소를 포함하고 있다. 구글의 전략은 대량의 데이터를 분석하면 비즈니스모델이 뒤따라 온다는 방식이다. 애드워즈나 애드센스가 이런 전략의 결과물이다.

구글은 대규모 분산처리 분야에서 널리 쓰이는 하두프의 토대가 된 프레임워크 '맵리듀스(MapReduce)'를 개발하기도 했다. 구글 서비스는 자체 개발한 인텔계 서버에서 맵리듀스와 NoSQL 데이터스토어인 빅테이블을 중심으로 구현되어 있다. 이 서비스를 외부 이용자가 이용할 수 있도록 한 빅데이터 서비스가 바로 빅쿼리(BigQuery)다.

구글은 이처럼 서비스 전반에 빅데이터를 활용하고 있다.

클라우드 대표주자인 아마존 또한 다르지 않다. 아마존은 고객 정보에 의존할 수밖에 없는 서비스 모델을 갖고 있다. 아마존 웹 서비스가 대표적이다. 고객들의 데이터 수요량을 사전에 정확히 예측할 수 있어야 장애발생없이 클라우드 서비스를 제공할 수 있다.

◆미래 예측하면 돈이 보인다

온라인유통업체인 이베이도 왕성하게 빅데이터를 활용하는 업체이다. 이베이는 9천만명 이상의 활동적인 이용자를 지원하며 하루에 40테라바이트(TB) 규모의 새로운 데이터를 수집한다. 이베이는 옥션 출품물의 이미지와 설명문의 비구조화된 데이터 분석을 통해 서비스 이용행태를 예측하고 이를 토대로 이용자들에게 효율적인 서비스 방안을 제시하고 있다.

페이스북도 마찬가지다. 페이스북은 자사 서비스 플랫폼에 올라오는 글이나 그림, 동영상 등을 분석해 이용자의 성향이나 관심사항을 파악해 이를 맞춤형 광고에 활용하고 있다. 일부 시민단체는 이런 페이스북의 행태를 꼬집어 페이스북 서비스를 현대판 빅브라더 서비스라고 부른다.

애플도 최근 아이클라우드 서비스를 제공하면서 이용자 데이터를 수집하고 이를 분석하는 작업에 본격 나서고 있다. 시리라는 인공지능형 개인비서를 내세워 빅데이터의 또 다른 가능성을 보여주고 있다. 이용자의 질문이나 행동을 미리 예측해 최적의 답을 제시하는 것이 빅데이터의 또 다른 모습이라 할 수 있다.

야후와 마이크로소프트(MS)도 빅데이터 시장 공략에 나서고 있다. 야후는 관련 사업부문을 분사했으며, MS는 하두프 기반의 솔루션 개발을 가속화 하고 있다.

이들 플랫폼 사업자는 빅데이터를 솔루션 업체처럼 상품화를 하고 있지 않다. 현업에 활용하는 데 치중하고 있다. 비정형 데이터 분석을 통해 가치정보를 추출하고 이를 서비스 모델 개발과 수익창출에 활용할 수 있다면 그 자체로 충분히 역할을 하고 있다는 것.

솔루션 사업자뿐만 아니라 일반 현업 업계가 빅데이터에 주목해야 하는 이유가 여기에 있다.