[Special]국내 '빅데이터' 현주소

[김관용 기자] 빅 데이터 시대를 맞아 우리나라도 분주하게 움직이고 있다. 정부 차원의 지식 정보 플랫폼을 구축하는 등 시대 변화에 발 빠르게 대처한다는 계획이다. 또 기업들도 각종 데이터 마이닝 기술로 무장하면서 빅 데이터 시대를 주도한다는 계획이다.

“빅데이터(Big Data)에 대한 구체적 연구를 시작해야 다른 나라에 앞설 수 있다.”

지난 11월 이명박 대통령이 빅데이터 시대를 맞아 이에 대한 중요성을 강조하며 한 말이다. 이 대통령은 국가정보화전략위원회(위원장 이각범)로부터 ‘지식정보 개방과 협력을 통한 스마트 정부 구현’에 대한 보고를 받는 자리에서 “빅데이터에 대한 연구를 조속히 실천에 옮겨 효과가 나오도록 하고 많은 일자리가 만들어지기를 기대한다”며 “정보화와 세계화가 진행되면서 정보의 격차가 자꾸 벌어지고 있다. 혜택을 받지 못하는 계층에 대한 배려도 고민해달라”고 당부했다.

정보통신기술(ICT)의 발달과 소셜미디어의 급속한 확산으로 빅 데이터의 수집과 분석, 활용 기술이 전 세계적인 화두가 되고 있다. 빅 데이터 기술은 정형 및 비정형의 대용량 데이터를 활용·분석해 가치 있는 정보를 추출하고, 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 것이다.

우리나라 정부는 빅 데이터 활용을 위한 ‘국가지식정보 플랫폼’을 구축할 예정이다. 이는 공공 지식정보의 민간 개방을 대폭 확대하고 민간 지식정보의 유통을 활성화하기 위한 취지다. 이에 따라 1천68종의 공공지식정보 가운데 공개 가능한 351종을 2013년까지 민간에 전면 개방하고, 공공정보의 민간 제공 소요시간을 현재의 15일에서 2016년까지 3시간 이내로 단축한다는 계획이다.

또한 국가적 보존활용 가치가 높은 중요 지식정보를 발굴해 2015년까지 데이터 베이스를 67개로 확대하고 사이버 지식정보 거래소를 구축할 예정이다. 이각범 국가정보화전략위원회장은 “모바일 인터넷과 소셜 미디어 등으로 데이터가 폭증하고 이들 데이터가 경제적 자산이 되는 빅데이터 시대가 도래했다”면서 “대용량 데이터를 활용 및 분석해 가치있는 정보를 추출하면 물가와 재해 등의 사안에 능동적으로 대응할 수 있다”고 말했다.

빅데이터 분석 기술 ‘데이터 마이닝’ 확산

이미 우리나라 각 기업들은 빅데이터에 주목하면서 가능한 많은 데이터를 확보하고 분석해 제품과 서비스, 그리고 고객만족도를 개선하는데 노력하고 있다. 특히 소셜네트워크서비스(SNS) 데이터 분석 기술을 통해 SNS에 노출되는 방대한 비정형 데이터들을 분석하고 이를 비즈니스에 활용한다.

삼성그룹의 경우 외부 SNS 분석업체와 협력해 소셜미디어에서 생성되는 비정형데이터를 수집하고 분석해 여론을 파악한다. 삼성전자의 글로벌 공급망관리(SCM)의 경우 데이터 분석을 통해 모든 공급망 단계를 최적화한 후 수요자가 원하는 제품을 원하는 시간과 장소에 제공한다.

LG전자 또한 SNS 및 웹페이지 분석툴을 적용해 텍스트 정보를 수집하고 담당자들이 관련 내용을 분석하고 있으며, 현대자동차의 경우에도 SNS 분석 툴을 도입해 신차 출시 후 SNS 의견들 모니터링한다.

특히 특허청에 따르면 데이터 마이닝(Data Mining)과 관련된 특허출원은 2005년까지 매년 10여건 정도에 머물렀으나, 2006년 이후에는 매년 20여건으로 지속적인 증가세를 보였다. 데이터 마이닝은 방대한 데이터 속에서 유용한 정보를 찾아내 의사 결정에 이용하는 기술이다.

관련 특허출원 중에는 ▲고객의 구매 행태 및 취미 등 성향에 따라 고객에게 가장 필요한 콘텐츠를 데이터베이스에서 자동으로 찾아 이메일로 발송할 수 있도록 하는 콘텐츠 자동발송 방법 ▲온라인 대화내용을 분석해 대화 내용과 관련된 광고내용을 표시하도록 하는 방법 ▲데이터 마이닝을 이용해 유해 데이터를 선별하는 방법 ▲온라인 쇼핑몰에 올라온 상품평으로부터 상품의 속성별로 사용자의 감정을 긍정 또는 부정으로 분류하는 방법 등 주로 서비스 산업분야에 데이터 마이닝 기술이 적용되고 있는 것으로 나타났다.

특허청 관계자는 “향후 데이터 마이닝 기술은 우리들의 일상에 더욱 깊숙이 파고들어 정치, 경제, 사회 현상 등 다양한 분야에서 활용될 것으로 보인다”며 “이와 관련 기술의 특허출원도 지속적으로 늘어날 것으로 전망된다”고 말했다.

KT경제경영연구소 류성일 연구원은 “빅데이터 시대에는 비즈니스 환경이 변화하고 그에 따른 경영 패러다임이 필요하다”며 “빅데이터의 수집과 관리를 위해 클라우드 컴퓨팅 기술의 의존도가 높아질 것으로 예상되며, 빅데이터의 활용은 IT의 영역을 넘어 거의 모든 산업과 정책 영역으로 확산될 것”이라고 전망했다. 삼성경제연구원 채승병 수석연구원은 “빅데이터를 특성에 따라 분류하고 심도 있게 분석하며 각 기업의 실정에 맞도록 활용하기 위해서는 통찰력과 분석력을 고루 갖춘 인재를 육성 확보해야 한다”고 강조했다.

주요IT기업, 국내 빅데이터 시장 선점 경쟁 본격화

이 같은 방대한 정형 및 비정형 데이터 분석을 위해서는 진보된 컴퓨팅 기술과 이를 저장하고 분석하기 위한 스토리지 기술이 필요하다. 이에 따라 주요 글로벌 IT기업들은 저마다 빅데이터 솔루션을 앞다퉈 쏟아내며 한국 빅데이터 시장 선점을 위해 경쟁하고 있다.

한국IBM은 빅데이터 핵심 제품으로 ‘인포스피어 빅인사이츠’와 ‘인포스피어 스트림즈’를 선보였다. 인포스피어 빅인사이츠는 방대한 양의 정형 및 비정형 데이터를 관리하고 분석하기 위한 솔루션으로, 오픈 소스인 아파치 하둡(Apache Hadoop) 소프트웨어 프레임워크 상에 구축돼 있다. 인포스피어 스티림즈는 밀리초 이하의 빠른 응답 시간으로 대량의 스트리밍 데이터를 지속적으로 분석할 수 있는 솔루션이다.

한국 오라클은 데이터베이스 제품군을 공급하는 회사로, 데이터베이스 분야의 독보적 기술력을 바탕으로 빅데이터 솔루션을 잇달아 발표했다. 오라클의 빅데이터 주력 제품은 ‘오라클 빅데이터 어플라이언스’. 이 제품은 자사의 제품군인 ‘엑사데이터’, ‘엑사리틱스’와 함께 빅데이터의 가치를 극대화시키고 이를 정리 및 분석하는데 필요한 솔루션을 고객에게 제공하는 솔루션이다. 아파치 하둡 오픈소스 배포판과 대용량 데이터를 위한 비관계형데이터베이스 ‘NoSQL’, 하둡용 데이터 통합 애플리케이션 어답터와 로더, 오픈소스 통계 프로그램 ‘R’, 자바 하스폿 버추얼 머신 등을 포함한다.

한국HP 또한 버티카와 오토노미 인수로 한층 강화된 빅데이터 포트폴리오를 통해 국내 빅데이터 시장을 공략하겠다고 천명했다. 버티카는 데이터웨어하우스 솔루션을 통해 짧은 시간 내에 빅데이터를 분석하는 기술을 보유하고 있으며, 오토노미는 지능형 검색엔진으로 다양한 정형 및 비정형 데이터와 대용량 데이터를 체계적으로 분석할 수 있다.

HP는 오토노미의 정보처리 레이어인 ‘아이돌(IDOL)’과 버티카의 실시간 분석 엔진을 조합해 모든 데이터를 100% 분석할 수 있도록 하는 정보 최적화(Information Optimization) 솔루션을 선보인다는 계획이다. 이 외에도 SAS코리아는 소셜 미디어와 멀티미디어 데이터를 분석하는 플랫폼인 ‘SAS9.3’을 발표했으며, 한국MS 또한 빠른 데이터 검색과 확장성을 제공하는 ‘MS SQL 서버 2012’를 통해 국내 빅데이터 시장을 공략한다는 계획이다.