2014년 가트너는 주목할 기술 분야 중 하나로 딥 러닝을 뽑았다. 2017년 컴퓨터의 10%는 처리보다는 학습을 할 것이고, 심층 신경망(DNN: Deep Neural Network) 알고리듬을 사용하는 음성 인식 애플리케이션은 2014년에 두 배가 될 것이라고 예측했다. 특히 빅데이터를 통해 기술의 발전과 확대가 크게 기대된다는 점을 지적했다.
얼마 전 구글은 런던에 있는 딥마인드(DeepMind)라는 3년 된 회사를 4억 달러가 넘는 금액으로 인수했다. 직원 75명에 불과한 이 회사는 구글과 페이스북이 서로 인수하려고 경쟁을 벌였다는 후문이다. 게임, 전자상거래, 시뮬레이션을 위한 학습 알고리듬을 개발한다고 알려진 이 회사는 매우 뛰어난 게임 영재와 딥 러닝 전문가들이 설립한 회사이다.
그 동안 인공지능 분야에서 머신러닝(기계학습) 기술은 비약적으로 발전했다. 이 중 한 축을 담당한 것이 인공 신경망(뉴럴 네트워크) 방식이고, 다층 구조를 갖는 DNN은 인간 뇌에서 정보 처리 방식과 유사하다는 점에서 인기를 끌었다. DNN은 입력 층과 출력 층 사이에 하나 이상의 숨겨진 층을 갖는 뉴럴 네트워크 구조를 말한다.
DNN은 이미 1980년 대에 제안됐다. 하지만 당시 컴퓨터 성능으로는 원하는 규모와 속도로 신경망을 구현하고 실행하기 어려웠기 때문에 대부분은 뉴럴 네트워크 방식이 아닌 고전적인 정보 처리 접근 방식으로 머신 러닝이나 지능의 문제를 해결하려고 했다. (필자 역시 이 시대에 전통적 방식으로 인공지능 분야에서 지식을 표현하는 연구로 박사 학위를 받았다.)
딥 러닝을 연구하는 모델로는 고전적인 백 프로퍼게이션, 볼츠만 머신 네트워크 등의 초기 모델에서 2000년 이후에 등장한 제한된 볼츠만 머신(RBM)이나 드랍아웃(DROPOUT) 같은 알고리듬이 있다. 그러나 그 각각을 설명하는 것은 이 칼럼의 범위를 넘어서는 일이라 관심있는 분들은 다양한 튜토리얼 자료를 활용하시기 바란다.
지금까지의 머신 러닝은 주로 지도학습(Supervised Learning)을 사용했다. 즉, 의미(레이블)이 붙여진 훈련 데이터를 기반으로 시스템을 훈련시킨 후 다른 데이터를 파악하게 하는 방식이다. 이는 이미지 인식등에서는 가능하지만, 음성이나 비디오, 자연어 등에서는 이렇게 의미를 사전에 붙일 수 있는 데이터가 너무 적다. 따라서 컴퓨터가 스스로 데이터를 통해서 대상을 인식하거나 판단할 수 있는 ‘자율학습(Unsupervised Learning)’이 필요하게 되었고, 이 분야가 딥 러닝이 도전하는 핵심 분야이다.
인공신경망에 대한 연구는 1980년 이후 관심을 크게 받지 못하고 2004년까지 소수의 학자들에 의해 지속됐다. 2004년에 하나의 사건이 일어나면서 학계에서 큰 변화가 일어났는데, 그 중심에는 토론토 대학의 제프리 힌튼 교수가 있다.
2004년 캐나다 첨단 연구소(CIFAR)에서 50만 달러 수준의 적은 펀딩이 제공되자, 제프리 힌튼 교수는 뉴럴 컴퓨테이션과 어댑티브 퍼셉션 (NCAP) 프로그램을 만들어 컴퓨터 과학자, 생물학자, 전기 엔지니어, 뇌과학자, 물리학자, 심리학자를 초대했다. 여기에는 뉴욕대의 얀 르쿤와 몬트리얼 대학의 요수아 벤지오 등의 참여가 이루어졌다.
힌튼 교수는 1984년에 볼츠만 머신을 제안한 인공 신경망 연구의 선구자이며, 2012년에는 그의 학생들이 다국적 제약사인 머크에서 주최한 신약 발견 경진 대회에서 우승을 차지한 적이 있다. (제프리 힌튼 교수에 대한 상세한 소개는 최근 와이어드 잡지 기사를 참조하기 바란다)
또한, 딥 러닝이 주목 받고 가능성을 인정 받을 수 있게 된 배경에는 새로운 알고리듬 외에 빅데이터 관련 기술과 그래픽 프로세서 같은 고성능 프로세서의 발전도 한 몫을 했다.
2011년 NCAP 연구자 중 하나인 스탠포드 교수 앤드류 응은 구글 안에 딥 러닝 프로젝트를 구성했고, 음성 인식과 구글 플러스의 사진 태깅에 딥 러닝 기술을 활용하기 시작했다. 이 연구 그룹은, 2012년 16,000개의 컴퓨터 프로세서로 10억 개 이상의 연결을 갖는 뉴럴 네트워크를 이용한 자율 학습 방식의 딥 러닝 기술을 적용해서, 유튜브 안에 있는 천만 개의 이미지 중에서 고양이를 알아낸 결과로 언론에 보도되었다. 대부분의 사람은 웃기는 일로 봤지만, 머신 러닝 학계에서는 놀라운 일로 받아들인 결과이다.
구글은 2013년 3월에 토론토 대학의 제프리 힌튼 교수를 영입했다. 이를 위해 힌튼 교수의 회사 DNN리서치를 인수했으며, 토론토 대학의 다른 연구가들도 같이 끌어들였다.
구글이 딥 러닝 기술을 안드로이드의 음성 인식 기술에서 활용하고 이미지나 비디오를 분석하는데도 사용할 수 있는 것과 같은 이유로 페이스북 역시 딥 러닝에 대한 본격적인 연구 개발에 뛰어 들었다.
페이스북 역시 인공지능과 딥 러닝에 대한 본격적인 투자를 하기 시작했다. 2013년 12월 뉴욕대학의 얀 르쿤 교수를 영입해서 새로 만든 인공지능 랩을 끌고 나가도록 했다. 흥미로운 것은 얀 르쿤 교수는 프랑스에서 박사 학위를 마친 뒤 토론토 대학의 제프리 힌튼 교수팀에 합류했었다는 점이다.
저커버그와 최고기술책임자(CTO)인 마이클 쉬로퍼는 뉴럴 정보 처리 시스템 컨퍼런스에 참석해서 르쿤이 페이스북에 합류한다는 발표를 하면서 조직을 캘리포니아, 런던, 뉴욕에 각각 세운다고 했다. 전 세계의 주요 인공지능 연구가를 끌어들이겠다는 의지를 표명한 것이다.
페이스북에서 딥 러닝을 활용한다면, 사용자 사진에서 사람을 인식하는 것 뿐만 아니라 이를 누구랑 공유해야 할 것인지를 바로 판단하며, 행동을 예측하고, 광고에도 사용할 수 있을 것이다. 예를 들어 사진에 나온 제품을 분석해서 이를 기반으로 광고주가 새로운 광고를 보여줄 수 있을 것이다.
구글이 인수한 딥마인드는 바로 힌튼 교수와 르쿤 교수의 제자들 뿐만 아니라 요수아 벤지오, 유르겐 슈미트후버 등 이 분야의 최고 전문그룹의 출신들이 포진하고 있었던 것이었고, 어쩌면 구글을 넘어서는 새로운 기술 기업일 수 있었기 때문에 거금을 주고 인수해 버린 것이다.
갑자기 구글과 페이스북 뿐만 아니라 마이크로소프트, IBM 등 전 세계 메이저 기업이 인공지능 분야에 초미의 관심을 보이고 인재 확보에 나선 것은 이제 인공지능 기술이 상업적으로도 적용하거나 활용할 수 있는 분야가 늘어났다는 것을 의미한다. 중국의 바이두 역시 인공지능(AI) 랩을 중국과 실리콘밸리에 세운다고 발표했다.
바야흐로 딥 러닝으로 대표되는 머신 러닝 기술과 지난 번에 소개한 IBM 왓슨이 끌어가는 인지 컴퓨팅과 같은 인공지능의 시대가 한발짝 앞으로 다가오고 있는 것이다. 1980년 대에 한국에서 미국 학자들과 이메일과 우편을 주고 받으며 인공지능을 외롭게 연구하던 나로서는 감회가 새롭다. 물론 내 분야가 뉴럴 네트워크는 아니었지만.
--comment--
첫 번째 댓글을 작성해 보세요.
댓글 바로가기