'마켓컬리'에 숨어있는 IT

[아이뉴스24 김국배 기자] "6~10명이 출근하면 하루에 4시간 이상씩 구매 후기만 봐야 했어요. 후기가 어마어마하게 늘어나고 있어 알바(아르바이트)를 써야 하나 고민하는 상황이었죠."

임상석 마켓컬리 개발총괄 리더의 말이다. 신선식품 배송업체 마켓컬리는 구매 후기를 남긴 고객을 선정해 적립금을 쏴준다. 여태까지는 후기가 적립금 지급 기준에 맞는지 사람이 일일이 눈으로 들여다봤다. 상품과 관련없는 사진을 올리는 등 기준에 충족되지 않는 경우 제외시켰다.

그런데 사업이 급격이 커지면서 이런 수기 운영 방식이 더는 어려워졌다. 마켓컬리는 신선식품 새벽배송으로 폭발적인 인기를 얻었다. 그만큼 이제는 하루에만 수천여 건에 달하는 후기가 올라온다. 고민 끝에 마켓컬리가 선택한 것은 인공지능(AI)·머신러닝 기술.

임 리더는 "오픈소스 머신러닝 플랫폼(케라스)을 기반으로 (클라우드 서버에서) 이미지를 학습시켜 굉장히 많은 사람이 수기 운영 업무를 덜게 됐다"며 "조건에 맞지 않는 후기를 걸러내는 정확도도 99.7%가 나왔다"고 말했다.

마켓컬리에 AI 전문 개발팀이 따로 있는 것은 아니다. 임 리더는 "클라우드 서비스를 활용하다보니 AI는 '상품화'가 돼 있더라"며 "애플리케이션을 짜는 입장에서 검증된 부분들을 활용해 적용하고 있다"고 설명했다. 마켓컬리는 아마존웹서비스(AWS) P타입 서버에 오픈소스 신경망 라이브러리 '케라스'를 써서 이미지 데이터를 학습시켰다.

상품 수요 예측에도 머신러닝이 일부 쓰인다. 이를 통해 매출 예측, 물류 운영 관리 등에 관한 계획을 세우는데 일정 부분 도움을 받는다. 수요를 예측해 외부 배송 차량을 미리 계약하거나 물류창고 공간을 확보하는 등 의사결정 과정에 참고할 수 있다. 마켓컬리는 모든 상품의 폐기량을 1% 이하로 맞추려 하고 있다.

노상래 데이터농장팀 수요예측(마켓컬리에서는 '데이터 물어다주는 멍멍이'라고 부른다) 담당 매니저는 "가령 오늘 특정 지역에 물량(주문량)이 많이 나올 것 같다고 판단되면 배송 매니저를 더 많이 할당할 수 있도록 준비하는 등 운영 계획, 인력 할당을 같이 진행한다"고 설명했다.

다만 그는 "신선상품은 공장처럼 찍어낼 수 없는 만큼 상품기획자(MD)가 공급사와 유기적인 협력을 통해 수급량을 그때그때 조절해야 한다"며 "이걸 다 AI 모델로 잡는 건 오히려 잘못된 예측 방법이라 보기에 모델의 역할은 최소로 하면서 사람이 할 수 있는 부분을 최대로 하고 있다"고 했다.

마켓컬리는 데이터 기반 서비스를 늘려나갈 계획이다. 임 리더는 "내부적으로 어떻게 데이터를 체계적으로 쌓고 처리·관리할 지 논의하고 있다"며 "내년에는 더 많은 AI 모델과 데이터 기반 서비스가 대규모로 나오지 않을까 기대한다"고 말했다.

현재 마켓컬리는 크게 커머스와 물류 시스템으로 구성된 IT시스템 대부분을 AWS 클라우드 서비스로 이전했다. 커머스 시스템은 지난해 9월 100% 클라우드로 이관했으며, 물류시스템의 경우에도 오라클 데이터베이스(DB) 2대를 뺀 나머지는 모두 클라우드로 옮겼다. 이마저 연말까지 클라우드로 넘긴다.

이같은 클라우드 서비스 환경 덕분에 트래픽이 급격히 늘어나는 상황에도 대응해 나가고 있다. 올해 들어 배우 전지현을 광고모델로 한 TV 광고 이후 트래픽이 많게는 9배까지 늘어났지만 견뎌냈다.

지난해 AWS 클라우드 서비스 장애 사태 이후에는 나름의 대비책도 마련하고 있다. 당시 AWS 장애로 마켓컬리 내부 인프라까지 일부 연쇄적으로 무너졌었다.

마켓컬리는 멀티 클라우드를 택하기보다는 자체 백업체계를 갖추고 빠르게 복구하는 방식으로 방향을 정했다. 이를 위해 코드로 인프라를 관리하는 오픈소스 기술 '테라폼' 등을 도입했다. 멀리 클라우드는 스타트업 입장에서 비용 부담이 너무 컸다.

임 리더는 "멀티 클라우드는 (스타트업에) 쉬운 주제는 아닌 것 같다"며 "지금은 약간 수동적이지만 백업 체계를 잘갖춰 최대한 빨리 복구하는 형태로 접근하고 있다"고 했다. "AWS 장애 이후 테라폼을 통해 무너진 시스템을 빠르게 살려내는 방식으로 고도화했다"고 덧붙였다.