IT·과학 산업 경제
정치 사회 문화·생활
전국 글로벌 연예·스포츠
오피니언 포토·영상 기획&시리즈
스페셜&이벤트 포럼 리포트 아이뉴스TV

[2012 핫테크-1]빅 데이터 "이젠 수집보다 해석"

본문 글자 크기 설정
글자크기 설정 시 다른 기사의 본문도 동일하게 적용됩니다.

빅데이터, 분석기법과 응용능력 확보가 중요

지난 해 세계 IT 시장의 키워드는 태블릿과 소셜이었다. 세상을 떠난 스티브 잡스 역시 IT 시장의 핫 키워드로 떠올랐다. 그럼 2012년엔 어떤 트렌드가 IT 시장을 주도할까? 아이뉴스24는 '2015 핫테크' 시리즈를 통해 올 한해 IT 시장을 주도할 흐름을 짚어본다. <편집자>


[안희권기자] 최근 뮤시그마란 업체가 미국 대표 벤처캐피털(VC)인 세쿼이아 캐피탈로부터 1억달러를 웃도는 거금을 유치했다. 그 뿐 아니다. 팔란티어, 클라우데라, 호튼웍스 등도 연이어 VC들의 지갑들 여는 데 성공했다.

'돈 냄새' 맡는 덴 뛰어난 촉각을 자랑하는 VC들이 이들에게 거액을 쏟아부은 이유는 뭘까? 그 대답은 의외로 간단하다. 이들이 빅데이터 분야 선두업체라는 점 때문이다.

투자사들은 빅데이터 시장의 잠재력을 보고 이들에게 거금을 투자했다. 최근 빅데이터 시장은 클라우드 컴퓨팅을 이어 2012년 IT 시장을 이끌어갈 차세대 시장 트렌드로 평가를 받고 있다.

◆2012년, 빅데이터가 대세…전문업체가 선방

여기서 잠시 영화 '머니볼'을 떠올려보자. 바닥에서 헤매고 있는 오클랜드 팀을 맡은 빌리 빈 단장은 팀의 혁신을 위해 통계 전문가를 고용한다. 그 뒤 그들은 각종 통계 자료 분석을 통해 그 동안 외면 당했던 선수들을 발굴한다. 이를 토대로 메이저리그 연승 기록을 세우는 데 성공한다.

실화를 바탕으로 한 영화 '머니볼'은 빅데이터가 어떤 변화를 이끌어낼 수 있는 지 잘 보여줬다.

빅데이터(Big Data)는 쏟아져 나오는 비정형 데이터와 실시간 데이터, 그리고 기존 정형 데이터를 분석해 가치정보를 추출하는 것을 말한다. 빅데이터 업체는 이 가치정보를 의사결정에 반영해 미래 시장 흐름을 예측하고 위험요인을 최소화 해 부가가치를 창출할 수 있도록 지원한다.

급변하는 현대사회에서는 빅데이터 분석의 중요성이 더욱 커질 수밖에 없다. 특히, 소셜네트워킹서비스가 광범위하게 사용되면서 여기서 쏟아져 나오는 데이터를 활용할 수 있다면 엄청난 부를 창출할 수 있다는 것이 관련 업계의 공통된 시각이다.

빅데이터 업체는 이를 가능하게 하는 플랫폼을 제시하고 있다. 투자사들이 빅데이터 업체에 주목할 수밖에 없는 이유가 여기에 있다.

빅데이터 분석은 매우 어렵다. 기존 데이터웨어하우스(DW) 솔루션은 이런 대용량 데이터를 효과적으로 분석할 수 없다. 정형화 된 데이터만 분석해왔던 DB 솔루션은 소셜서비스에서 실시간으로 올라오는 반정형 데이터를 빠르게 처리할 수 없다. 또 영상이나 사진, 음성 등 다양한 미디어 정보를 수집해서 분석해야 하는 빅데이터 분석시장에 적응하기 쉽지 않다.

구글과 아마존, 야후, 페이스북, 트위터 등의 최강 인터넷 업체들은 고객의 사용로그와 트랜잭션 로그를 기반으로 정보를 분석해 광고 플랫폼을 구축해야 한다. 개인 맞춤형 광고를 하려면 이용자 분석이 선행되어야 하기 때문이다. 그런데 이런 작업은 기존 DB로 불가능하다.

기존 DW 시장을 장악해왔던 오라클과 IBM, HP, SAS, EMC 등 DB 전문업체들이 빅데이터 시장에서 기득권을 발휘할 수 없게 된 것이다

◆대용량 분산처리기술 하두프에 주목하라

구글 등 인터넷 기업들은 이들 솔루션 업계가 해결책을 제시하지 못하자 자체 기술력을 확보해 해결하고 있다. 그 결과 빅데이터 분석시장에서 가장 높은 수준의 기술력을 보유한 업체는 구글과 야후, 페이스북, 트위터, 아마존, 이베이 등이라 말할 수 있다. 이들 업체는 이미 오래전부터 현업에서 빅데이터 분석을 통해 서비스를 개선시켜왔다.

이 업체들은 빅데이터 분석을 대용량 데이터 분산 처리 기술인 하두프(Hadoop)를 활용해 처리하고 있다. 이에 따라 하두프가 빅데이터 분석의 핵심 기술로 부각되고 있다.

하두프는 구글이 검색엔진을 통해 수집한 정보를 분석하기 위해 개발한 대용량 분석 파일처리 프레임워크 맵리듀스(MapReduce)를 모태로 하고 있다. 구글이 맵리듀스를 오픈소스 형태로 공개하자 야후가 이를 기반으로 개발한 것이 하두프다.

페이스북이나 아마존, 이베이, 링크드인 등 대형 인터넷 업체는 대용량 데이터 처리를 위해 하두프를 도입했다. 국내 인터넷 포털인 네이버나 다음 등도 빅데이터 처리에 하두프를 적극 활용하고 있다.

하두프가 빅데이터 분산 플랫폼으로 주목을 받는 이유는 성능과 경제성을 두루 갖추고 있기 때문이다. 전세계적으로 경기침체가 장기화되면서 오픈소스 기반의 하두프를 도입해 개발비를 아끼려는 업체들이 늘고 있다.

◆빅데이터, 분석기법과 응용능력 확보가 중요

최근에는 인터넷 기업 외에 글로벌 대기업과 금융업체들이 자신들의 트랜잭션을 분석하고 사용로그 분석을 위해 하두프 도입을 검토하고 있다. DW 전문업체들도 하두프를 자사 솔루션에 접목해 빅데이터 분석 작업을 지원할 수 있도록 하고 있다.

올해 빅데이터 시장은 전문업체가 주도할 것으로 예상된다. 빅데이터 분석시장은 대용량 분산처리시스템(하두프)의 도입보다 데이터 분석을 효율적으로 처리할 수 있는 분석기법과 응용능력이 더 중요하기 때문이다. 빅데이터 전문업체들은 이런 부분에서 경쟁력을 갖고 있다.

정부 기관과 금융권 시장을 장악 중인 팔란티어와 금융권 후발주자인 뮤시그마, 클라우데라 등도 관심의 대상으로 떠오르고 있다. 특히, 팔란티어는 엄청난 데이터 속에서 유의미한 정보를 도출해 향후 전개될 움직이나 문제 해결책, 사업기회를 제공하고 있다. 미국 금융사 중 60%가 팔란디어 금융정보분석 플랫폼을 사용하고 있다.

팔란티어의 성공비결은 가치정보를 추출하는 데 있다. 즉, 고객이 필요한 정보, 고객이 활용할 수 있는 유의미한 정보를 제공해 사업 또는 서비스에서 부를 창출할 수 있도록 하고 있다. 빅데이터 분석은 수집한 정보를 분석하는 데 그치지 않고 이를 비즈니스 활용할 수 있는 정보로 응용할 수 있어야 한다.

팔란티어는 이를 가능하게 하고 있다. 반면 대부분의 빅데이터 업체나 DW 업체는 매일매일 쌓이는 대용량 웹 로그나 거래로그에 대한 기초적인 통계자료를 뽑아내는 수준에 그치고 있다.

올해는 이런 수준이 한 단계 도약할 것으로 보인다. 빅데이터 시장의 잠재력을 인식한 DW 업체의 적극적인 시장 진출과 후발 신생업체의 시장 참여가 본격화 되기 때문이다. 업체간 경쟁이 치열해지면서 초기 수준에 머물렀던 빅데이터 분석기법도 활용 측면을 중시하는 방식으로 개선될 전망이다. 또 페이스북과 아마존 등 현업 플랫폼 업체 중심의 빅데이터 분석기술 활용도 가속화 될 것으로 예상된다.

안희권기자 argon@inews24.com



공유하기

주소가 복사되었습니다.
원하는 곳에 붙여넣기 해주세요.

alert

댓글 쓰기 제목 [2012 핫테크-1]빅 데이터 "이젠 수집보다 해석"

댓글-

첫 번째 댓글을 작성해 보세요.

로딩중
댓글 바로가기