5초 만에 사물 인식하는 AI 기술 나온다

[아이뉴스24 정종오 기자] 증강현실 화면이나 로봇이 보는 3차원 공간에서 사용자가 원하는 물체를 텍스트 입력으로 찾아내는 인공지능 기술이 새롭게 개발됐다. ‘흰색 소파’, ‘라면 위 달걀’과 같은 텍스트를 입력하면 AI가 3D 복원 공간 안에서 해당 물체의 위치와 영역을 찾아낸다.

메모리 효율과 처리 속도를 크게 높여 로봇이 물체를 실시간으로 파악하거나 증강현실 화면에서 원하는 대상을 바로 선택하고 편집할 수 있게 됐다.

울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀은 이용자가 입력한 다양한 말이나 문장을 바탕으로 AI가 3D 복원 공간 속 대상을 찾아내는 ‘오픈어휘 기반 3D 공간 인식 기술’인 ‘LightSplat’을 개발했다.

로봇이나 증강현실 기술에서는 카메라로 들어온 2D 이미지를 기계가 인식할 수 있는 위치·색·투명도 정보를 가진 작은 점 입자(가우시안)들이 모인 3D 공간으로 복원한다. 3D 공간 인식은 이렇게 복원된 공간에서 어떤 물체가 어디에 있고, 어느 영역을 차지하는지를 찾는 기술이다.

연구팀이 개발한 기술은 이용자가 입력한 자연어를 기반으로 3D 공간에서 대상을 찾아내는 오픈어휘 3D 공간 인식 기술이다. 의자, 책상, 문처럼 미리 정해진 범주의 물체만 찾는 방식과 달리 ‘흰색 소파’나 ‘라면 위 달걀’처럼 더 구체적이고 다양한 표현을 통해 원하는 대상을 찾을 수 있다.

이 기술은 기존 오픈어휘 3D 공간 인식 기술 대비 메모리 사용량을 64분의1 수준으로 낮췄다. 3D 가우시안에 의미 정보를 연결해 사람이 쓰는 자연어로 검색할 수 있는 상태로 만드는 시간도 약 5초로 줄였다. 이는 기존 최신 기술보다 50~400배 빠른 속도다.

기존 기술이 3D 공간의 각 점 입자마다 긴 숫자 형태의 언어 특징값을 저장하는 것과 달리 LightSplat은 각 점 입자에 2바이트짜리 짧은 인덱스만 붙인 덕분이다.

실제 의미 정보는 별도 표에 저장해두고 필요할 때 인덱스를 통해 찾아보는 방식이라, 3D 공간을 표현하는 데 필요한 메모리를 크게 줄일 수 있다.

제1저자인 방재훈 연구원은 “오픈어휘 3D 사물 인식 기술을 실제로 쓰려면 정확도뿐 아니라 속도와 메모리 효율을 함께 확보해야 한다는 점에서 이번 연구는 의미 있는 성과”라고 설명했다.

주경돈 교수는 “사람의 말로 지시를 바로 수행할 수 있는 인간-기계 상호작용이 강화된 로봇 개발, 텍스트로 대상을 바로 지정해 편집을 돕는 AR·VR 콘텐츠 제작, 디지털 트윈 기술 등에 적용 가능할 것”이라고 전했다.

연구 결과(논문명: LightSplat: Fast and Memory-Efficient Open-Vocabulary 3D Scene Understanding in Five Seconds)는 컴퓨터 비전 분야 학회인 CVPR 2026(Conference on Computer Vision and Pattern Recognition)에 채택됐다.