AI 캐릭터 채팅, 미성년자 보호 공백 논란…국감서 안전성 도마에 [AI브리핑]

[아이뉴스24 윤소진 기자] 국회 과학기술정보방송통신위원회 국정감사에서 스캐터랩의 AI 캐릭터 서비스 ‘제타’가 미성년자 보호 공백과 안전성 문제로 집중 점검 대상에 오른다. 제타는 10대 이용자 비율이 높은 서비스로, AI가 생성하는 대화 내용 중 일부가 부적절하거나 민감한 주제를 포함했다는 지적이 제기된 바 있다.

콘텐츠 필터링·AI 챗봇 책임 범위 등 주요 쟁점

9일 과방위에 따르면 국회는 오는 14일 열리는 과방위 국감에 스캐터랩 김종윤 대표를 증인으로 소환해 제타AI의 미성년자 보호 대책과 플랫폼 운영 책임, 모니터링 체계 등의 실효성을 점검한다.

특히 일부 이용자들이 AI 캐릭터와의 대화에서 선정적이거나 부적절한 내용을 경험했다고 신고한 사례가 있어, 콘텐츠 필터링과 연령 인증 절차의 적정성이 핵심 쟁점으로 꼽힌다. 내년 AI기본법 시행을 앞두고 대화형 생성AI의 책임 범위도 주요 논의 대상이다.

제타는 스캐터랩이 2024년 출시한 AI 캐릭터 플랫폼으로, 사용자가 직접 캐릭터를 생성하고 감정 교류형 대화를 이어갈 수 있는 서비스다. AI가 연인·친구처럼 대화하는 설정이 가능해 10~20대 이용자층을 중심으로 빠르게 성장했다.

출시 1년 만에 누적 이용자 200만명을 기록했고, 월간 활성 이용자 수(MAU)는 110만명을 넘었다. 한 달 평균 대화량은 23억 건(글로벌 기준)에 달하며, 스캐터랩은 올해 2분기 매출 52억원으로 3개 분기 연속 흑자를 이어가고 있다.

스캐터랩은 앞서 2019년 출시한 AI 챗봇 ‘이루다’에서도 개인정보 무단 수집과 성차별 표현 문제로 비판을 받은 바 있다. 올해 7월 열린 1심에서 서울중앙지법은 개인정보보호법 위반 혐의를 인정해 유죄 판결을 내렸다. 이루다 사건은 국내 AI 산업에서 개인정보 보호와 윤리 책임의 중요성을 부각시킨 대표적 사례다.

이후 스캐터랩은 "법원의 판단을 겸허히 수용하고 내부 개인정보 관리 체계를 전면 개편했다”고 밝히고 보호 조치를 확대 중이다. 그 결과 지난 3월 방송통신위원회가 발표한 ‘생성 AI 서비스 이용자 가이드라인’에 스캐터랩 서비스의 운영정책과 콘텐츠 생성 기준 등이 모범 사례로 다수 포함됐다. 올 하반기에는 관계 기관과 협의해 ‘제타’ 내에 연령 인증을 도입하고 청소년 모드와 성인 모드를 분리하는 등 청소년 이용자 보호를 더욱 강화하고 있다.

해외서도 잇따른 사고…'윤리 안전망' 필요성 확대

AI 캐릭터 서비스의 안전성 논란은 해외에서도 심각한 수준으로 번지고 있다.

2024년 미국 플로리다에서는 14세 청소년이 AI 챗봇 ‘캐릭터.AI’와의 대화에 몰입한 끝에 극단적 선택을 하면서 개발사가 소송에 휘말렸다. 이탈리아에서는 맞춤형 대화형 AI ‘레플리카(Replica)’가 암살 계획 논의 등 범죄에 악용돼 사용이 금지됐고, 중국에서는 미성년자 대상 성적 대화·중독 문제로 AI 채팅앱 개발사가 법적 제재를 받았다.

AI기반의 소셜 챗봇은 이용자의 외로움이나 불안감을 완화하고, 감정적 지지를 제공하는 등 긍정적인 효과도 분명하다. 다만 전문가들은 감정 교류형 AI 서비스가 인간관계의 대체 수단으로 확산되는 만큼, 정서적 의존을 막기 위한 장치와 사회적 안전망이 필요하다고 지적한다.

지난 5일 CBC 보도에서 피터 루이스 온타리오공과대 교수는 “AI 중독 문제의 책임을 개인에게 돌릴 수는 없다”며 “이 도구들은 이용자가 계속 사용하도록 설계된 측면이 있다”고 진단했다.

에브리힘 바게리 토론토대 교수는 “AI가 사회적 피해를 야기하고 있다. 정부가 이를 외면할 수는 없다”며 “AI가 인간처럼 대화하지 못하도록 하는 규제 마련이 필요하다”고 말했다.