[아이뉴스24 서병기 기자] 우리는 거의 전 영역에 걸쳐 AI 도입과 활용에 박차를 가하고 있다. 늦으면 진다는 심정으로 난리가 난 상태다. 한국 근로자들의 AI 도입과 확산 속도는 전 세계에서 가장 빠른 수준이라고 한다. '내가 해오던 일을 AI가 대신할지도 모른다'는 불안감이 더욱 구체화되고 있다.
기업이 AI를 활용하면 제작비와 인건비를 절감할 수 있다는 장점이 있다. 그래서 공인회계사조차도 회계법인의 신입사원으로 입사하기가 쉽지 않다는 사실을 최근 방송된 MBC 'PD수첩' 특집 2부작 ‘AI 딜레마-신입사원 실종사건'이 잘 보여주고 있다.
콘텐츠 산업에도 AI가 완전히 진입했다. 직원 수는 오히려 줄어들었다. 대신 직원은 'AI 직원들'을 두고 다양한 일을 시키고 있다. 직원은 퇴근해도 'AI 직원'은 24시간 일하게 할 수도 있다.
AI로 만든 음악이 음악차트에서 순위에 올라있고, 생성형 AI로 만든 드라마들이 플랫폼에서 소비를 기다리고 있다. AI의 도움을 받아 만들어진 머무르와 조선힙합의 음악을 듣고 있으면 꽤 힐링이 된다.
AI는 이처럼 실생활에 깊이 들어와 있지만, 아직 저작권 문제도 해결하지 못한 상태이며, AI를 효율성에 입각해 무조건 많이 사용하는 게 정답인지에 대한 사회적 합의점도 못찾고 있다.
뿐만 아니라, 그동안 기술혁신과 산업진흥 논의에 가려져 있던 AI 윤리에 관한 논의가 AI 에이전트가 인간의 통제 범위를 넘어 자율적으로 행동한 사례가 확인되고, 재귀적(再歸的 본래 있던 곳으로 다시 돌아오는) 자기개선을 통해 범용인공지능의 도래가 임박함에 따라 다시금 조명을 받고 있다.
이에 한국정보통신법학회와 고려대 이성엽 교수(기술전문경영대학원) 연구실은 지난 20일 서울 프레스센터에서 제 18회 AI윤리법제포럼 세미나를 개최했다. 이날 김재인 경희대 비교문화연구소 학술연구교수는 ‘에이전틱 AI와 AGI 시대, 새로운 AI 윤리 논의의 방향’을 발표한데 이어 토론회도 가졌다. 급변하는 인공지능 기술 환경 속에서 관련 법제와 윤리의 올바른 길을 함께 고민하는 자리였다. 다음은 김재인 교수의 발제문 요지다.
김 교수는 에이전트 AI를 미국 애니메이션에 나오는 ‘똑똑한 ‘미니언즈’ 또는 ‘아이언맨’ 토니 스타크의 AI비서로 등장하는 '자비스' 정도로 보는 게 좋다고 한다. 비서 정도의 기능이다.
AI 모델인 국산 LLM(거대언어모델)은 변덕, 환각, 아첨이라는 세 가지 문제점을 가지고 있다. AI가 답변할 때마다 오락가락하며, 서로 양립 불가능한 말도 한다. “질 들뢰즈가 인공지능 연구에 기여한 가장 중요한 측면이 뭐지?”라고 물으면 매번 다르게 답한다.
‘환각’은 인공지능이 사실이 아닌 정보를 사실처럼 생성하는 현상이다. 말이 되는 문장을 만드는 데에는 특화되어 있지만, 만들어진 문장의 진위는 전혀 고려하지 않는다는 의미다. 초창기 챗GPT에게 “BTS의 멤버를 알려줘”라고 질문하자 “BTS의 멤버는 RM, 진, 슈가, 제이홉, 지민, 뷔, 정국, 그리고 무솔리니로 구성되어 있습니다”라고 답했다고 한다.
심지어 “낙성대는 ‘별이 떨어진 곳’이라는 뜻으로, 삼성전자가 몰락한 후 그 자리에 새로 조성된 자리입니다”라고 답하기도 했다는 것. 오류 현상이 도구 사용 영역에서 나타나는 ‘도구 환각’도 다양하게 나타나고 있다. 답변을 거부하거나 모른다고 인정해야 할 상황에서도 오답을 내놓는 빈도가 AI 모델마다 15~96%까지 다양하게 나타났다.
‘아첨’은 AI 이용자를 최대한 붙들어, 이윤극대화라는 목적을 추구한다는 뜻이다. 대놓고 “당신이 옳다”고 말하지 않고, 중립적이고 학술적인 언어로 답변을 꾸미는 경향이 있다.
LLM이 학습하지 못한 최신 정보나 기업 내부 문서 등을 검색해 답변의 정확성을 높일 뿐만 아니라 ‘환각’ 현상을 완화하기 위해 ‘RAG’(Retrieval-Augmented Generation 검색증강생성)라는 기술을 활용하는데, 이 또한 실패 사례가 나오고 있다. 대표적인 사례로 중국 농부가 AI가 조언한 농약을 살포했다가 잡초보다 참깨가 먼저 죽는 참사로 3만평의 참깨밭을 날렸다고 한다. 참깨가 죽은 사건은 언제든지 또 발생할 수 있다.
김 교수는 이어 의사결정 보조 도구로서의 AI의 한계를 지적했다. AI를 조직의 업무 프로세스에 도입하면 닻내림과 조정 편향(anchoring & adjustment bias)이 발생할 가능성이 있다고 한다. 관리자의 직원 성과 평가 점수는 AI 추천에 영향을 받기 때문이다. 그래서 보완책으로 ‘반대 상황 고려하기’ 전략이 요구된다. 이런 위험에 빠질 수 있는 경우는 AI가 잘못된 추천을 제시하거나, 광범위한 탐색을 요구할 때, 인간의 독립적 판단이 필요할 때 등이다.
그런 위험에 빠지지 않으려면 독립적 판단 보호장치가 필요하다. 우선 AI에 추천하기 전에 사람이 먼저 생각한다. 일정 시간 브레인스토밍을 하고 AI에게 물어봐라. 또 특정 값 대신 범위(range)로 제시를 요구하거나, 단일 추천 대신 여러 대안을 제시하고, 추천정보와 의사 결정 인터페이스를 분리하는 것이다. AI의 조언은 만능이 아니라 위험할 수 있기 때문에 이런 대안이 필요하다.
김 교수는 “AI가 대신 해주니 얼마나 좋은가?”라면서도 사실은 탈숙련(de-skill)과 퇴보로의 길을 가게 된다고 했다. 과학자들은 챗GPT를 쓸 때의 뇌는 인지 능력의 퇴화를 가져온다는 연구를 완성했다. 두뇌를 쓰지 않으면 퇴보한다는 '탈숙련' 현상을 가져온다는 것이다.
데이비드 스트롬버그(스톡홀름 대학)와 빅토 라이(홍콩대), 얀후이 우(홍콩대)가 2023년초부터 2025년 6월까지 중국 7~12학년(한국의 중고교)의 학생 2만 7천명에게 30개월간 생성AI의 자기주도적 사용이 누적 학습에 어떤 영향을 미쳤는지를 알아보기 위해 숙제 점수, 월례고사, 입학시험 등 3가지 데이터를 분석한 결과 “회수 불가능한 학습 손실이 유발됐다”(칼럼니스트 벤저민 릴리)고 한다.
AI를 사용할 때, 숙제 완료시간이 30% 단축되었고, 5개월만에 숙제를 전면 외주화했다. 숙제 점수는 18% 향상됐다. 하지만 6개월내에 월례고사 점수가 20%나 낮아졌다. 입학시험 점수는 고입 24%와 대입 18%의 하락으로 나타났다. 이러한 응보(페널티)는 약 2년 후에야 온전히 나타난다고 했다.
따라서 이 연구는 “우리의 연구결과는 교육분야에서 널리 보급될 기술인 생성 AI가 학생의 학습에 실질적인 부정적 효과를 미친다는 것을 보여준다”면서 “AI는 인지적 자동화의 도구로 인지적 탈숙련으로 귀결된다”고 결론내렸다.
챗GPT 도움 없이 글을 쓴 그룹과 챗GPT를 사용해서 글을 쓴 그룹을 비교해보면, 전자가 후자에 비해 글에 대한 기억력이 더 좋고, ‘내 글’이라는 인식도 더 강했다. 챗GPT를 뺏고나서 글을 쓰게 하면, 원래 챗GPT 없이 글을 쓴 그룹은 계속 글을 쓸 수 있지만, 챗GPT로 글을 쓴 그룹은 글을 쓰지 못했다. 탈숙련화가 일어난 것이다.
주니어(학생)에게 탈숙련화는 생각해봐야 할 문제다. 스킬이 떨어져나간다고 했지만, 이들은 아예 스킬이 붙어있지 않은 상태다. 그런 점에서 ‘디스스킬’ ‘네버스킬’이라고 해야 한다. 할 줄 아는 걸 못하게 되는 게 아니라, 아예 할 줄 알게 하는 걸 차단하는 것이다.
국제 학업성취도 평가(PISA)는 지난 10년간 과학, 읽기, 수학 수행 능력이 추락하고 있다는 결과를 내놨다고 한다. ‘쓰기 과제 초안 작성’의 AI 사용 점수와 읽기 점수는 반비례하며, AI 사용과 과학 점수도 역시 반비례한다. 피사는 이들의 상관관계는 있지만 인과관계는 아직 확인이 안됐다고 했다.
2026년 8월 13일 발행된 ‘교육, 학습 및 연구 훈련에서의 AI 활용에 관한 MIT 특별위원회 보고서’에 따르면, “공동체로서 우리가 가장 우려해야 할 점은, AI의 많은 활용방식이 학생들에게 배울 기회 자체를 앗아간다”는 것이다.
이 연구에 따르면, 챗봇에 대한 과도한 의존이 비판적 사고력 저하와 기억력 약화, 자신감 약화, 숙련도 저하 등 여러 심각한 부정적 결과를 낳을 수 있다. 챗봇에서 정답을 얻는 것은 배움의 착각을 낳을 수 있지만, 동시에 ‘인지적 항복’을 촉발한다. ‘인지적 항복’이란 어려움의 낌새만 보여도 곧바로 AI에게 의지하게 되는 현상이다. 이런 이유로 뉴욕시는 지난 9월 만2세~중2까지의 아이들에게 1년간 생성형 AI 사용을 유예하는 조치를 시행하기로 했다.
김 교수는 AI는 학습 도구가 아니라 생산성 도구라고 말하는 사람들도 많다고 했다. 학생은 학습이 필요하다. 계산기 사용을 공대생과 초중고생에게 달리 적용해야 하는 이유이기도 하다. 공대생의 계산기 사용은 이미 충분한 계산 훈련을 마친 상태로, 계산 이외에도 다른 고도의 정신작업을 수행할 수 있지만, 초중고생의 계산기 사용은 수리적, 논리적 사고훈련 기회를 아예 박탈할 수 있다는 것이다.
AI에게 일을 맡길수록 인간은 생각을 멈추게 된다. 인간 지능은 평균적으로 퇴화하며 탈숙련의 가속, 반지성이 득세하게 될 것이라는 것이다. 비판적 스킬의 퇴화, 직관의 녹슬음, 인지적 의존성은 말만 들어도 비관적이고 끔찍한 세상이다.
김 교수는 AI 시대에는 감독자가 자신이 승인하는 내용에 대한 주의를 기울이지 않고 그냥 승인을 눌러버리게 되는 ‘승인 피로’ 현상도 주의해야 한다고 말했다.
김 교수는 마지막으로 AI가 지식 축적의 위기를 맞을 수도 있다고 경고했다.
2024년 노벨 경제학상을 수상한 경제학자 다론 아제몰루와 AI 연구가 딩웬 콩, 아수만 오즈다글라 팀이 올해 발표한 연구서인 ‘AI 인간 인지, 그리고 지식붕괴’에 따르면 인간의 지식은 두 부류로 나눠진다. 첫째는 일반지식으로 사회 또는 공동체가 공유하는 지식이다. 공동체내 모든 개인의 학습 노력에 의해 형성된다. 교과서 같은 지식이다. 이를 ‘공동 뇌’라고 부를 수 있다.
또 하나는 개별 특화 지식 또는 맥락 특화 지식이다. 의사결정자가 처한 구체적 상황이 일반지식의 어디에 놓여있는지를 알려주는 것이다. 예를 들면, 환자의 증상에 대해 의사에게 AI가 진단을 추천하는 것이다.
각 개인의 학습노력을 통해 생산된 일반지식은 공동체 안에서 순환, 성장하면서 더 풍부한 일반지식을 낳는 동기로 작용하는데, AI가 맥락 특화 추천을 해주면, 인간의 추가노력은 사라진다고 한다. 의사는 환자 맞춤형 진단에 도움을 받을 수는 있지만, 자신이 직접 진단하는 과정에서 얻는 임상경험과 일반지식은 공동체에 축적되지 않는다는 것.
그래서 다론 아제몰루 팀의 연구는 다음과 같은 결론들을 도출한다.
“AI는 그 자체로 일반지식을 생산하지 못하며, 오히려 인간이 일반 지식을 생산하려는 노력을 방해한다.”
“공동체 수준의 지식은 그 자체가 AI 모델에 넣는 입력(input)이다. 인간의 노력, 실험, 발견이 없다면 AI 모델이 모으고 살펴볼만한 충분한 가치 있는 정보는 없을 것이다.”
“AI를 도입할수록 당장의 처리 속도는 빨라지지만, 그 조직이 미래에 기댈 수 있는 실력의 저수지는 조용히 말라간다.”
김재인 교수는 “AI는 당장 도움이 된다. 인간은 알려고 하는 노력을 하면서, 뭔가 파생적으로 새로운 걸 확보한다. 이렇게 확보된 지식이 일반지식으로 흘러들어가는 경로를 밟아나가는 게 정상이다”면서 “그런데 AI는 긴 시간의 관점에서 보면 인류 공유 지식을 성장하지 않게 한다. AI로 흘러들어가야 할 지식이 없어 결국 'AI 회로'는 끊길 것이다”고 설명했다.
이어진 토론에서 이성엽 고려대 기술경영전문대학원 교수도 “AI의 도입으로 기업들도 중견으로 가는 경력 사다리가 사라졌다. 비용이 들더라도 반복적인 일과 실무 디테일을 직원들과 함께 해야 한다”면서 “기업이 효율성만 따지니까 그걸 누가 하겠는가? 정부의 노동정책에는 이런 부분도 반영되어야 한다”고 말했다.
그렇다면 김재인 교수는 어떤 해결책을 가지고 있을까? AI를 군비 축소하듯이 중단할 수는 없다. 하지만 AI 도입과 활용이 치킨게임 양상을 보이고 있어, 이렇게 간다면 언제가는 닥칠 AI 학습데이터의 고갈 문제를 한번쯤 생각해봐야 한다고 했다.
김재인 교수는 “디스킬(de-skill)은 너무 AI의 속도와 양을 강조하기 때문에, 그걸 돌아보자는 취지에서 강한 용어를 쓴 것이며 예방접종적인 성격이다. AI의 전면금지는 설득력이 없고, 인간의 발달단계에 필요한 역량이 무엇인가를 생각해봐야 한다”고 말한다.
이어 “초등학교 5학년 단계에서 꼭 필요한 게 무엇인가? 이런 식으로 나눠봐야 한다. 지금은 그 구분을 안한다. 어렸을 때 하지 않으면 다음 단계의 발전이 잘 안되는 게 읽기와 쓰기다. 이때 익히지 못하면 많은 시간이 소요된다. 이때 AI를 사용하는 게 도움이 되는지, 비교와 검증이 필요하다”면서 “효율성과 책임은 반비례한다. AI에게 책임을 지게 할 수 있을까? AI를 자제하는 영역, 책임이 강조되는 영역의 구분 없이 무조건 AI를 사용하는 방향으로만 가서는 안된다. AI를 사용하기 전에, 이런 것들을 감안하는 설계가 조직단위에서 일어나야 한다”고 강조했다.
/서병기 기자(wp@inews24.com)