전주대 등 국제 공동연구팀, 실시간 시선 읽는 인터페이스 기술 개발

[아이뉴스24 박종수 기자] 전주대학교 문성철 교수와 인하대학교 강지훈 교수·한국과학기술연구원(KIST) 박민철 박사 연구팀이 미국 세인트루이스 워싱턴 대학교 배상훈 교수·버지니아 대학교 이규상 교수 연구팀과의 공동연구를 통해 첨단 뉴로모픽 AI 디바이스와 전자피부 기반 차세대 인터페이스를 개발했다.

경일대학교 정시우 교수·국립군산대 고종현 교수·한국과학기술연구원(KIST) 고현우 박사과정 연구원 등이 공동 1저자로 연구에 참여하고, 고려대학교 구로병원 안과 서영우 교수·고려대학교 안산병원 안과 이화 교수의 의학적 자문 및 임상적 관점의 검토를 더해 다학제 국제 공동연구를 수행했다.

이번 한미 국제 공동연구를 통해 개발된 인터페이스는 기존 웨어러블 시선 추적 기술의 한계를 극복하고, 고가의 광학 기반 장치 없이도 실시간 시선 인식이 가능한 차세대 휴먼-컴퓨터 인터페이스 기술로 평가된다.

시선 추적 기술은 확장현실(XR), ICT, 모바일 헬스케어 등 다양한 분야에서 핵심 기술로 주목받고 있으나, 기존 기술은 부피가 큰 광학 장치와 높은 전력 소모, 외부 서버 기반 연산 의존성으로 인해 웨어러블 환경에서 활용에 한계가 있었다.

연구진은 이러한 문제를 해결하기 위해 피부에 밀착되는 전자피부(e-skin) 기반 안전도(Electrooculography, EOG) 센서와 뉴로모픽 반도체를 결합한 하드웨어–소프트웨어 융합 인터페이스를 개발했다.

개발된 전자피부 센서는 눈의 수직 및 수평 움직임에서 발생하는 안구 운동 신호를 안정적으로 연속 측정할 수 있고, 이를 어텐션 기반 스파이크 신호로 변환한 뒤 경량 스파이킹 신경망(Spiking Neural Network, SNN)을 통해 실시간 시선 정보를 해석한다.

특히 저항성 메모리 소자인 RRAM(Resistive Random-Access Memory) 크로스바 어레이를 활용해 신경망 연산의 핵심인 벡터-행렬 연산을 하드웨어에서 직접 수행할 수 있도록 구현했다.

잡음 환경을 고려한 학습과 가중치 양자화 기법을 적용해 낮은 전력 소모와 지연 시간 감소를 동시에 달성하면서 안정적인 추론 성능을 확보했다.

이 시스템은 클라우드 서버 없이 기기 내부(Edge)에서 연산이 수행되도록 설계돼 사용자 데이터 프라이버시를 보호할 수 있으며, 기존의 헤드마운트 광학 장치를 제거한 글래스리스(glassless) 구조를 통해 착용 부담도 크게 줄였다.

연구진은 이 기술이 몰입형 컴퓨팅 환경, 장애인 보조 인터페이스, 차세대 모바일 헬스 모니터링 기술로 확장될 수 있을 것으로 기대한다.

문성철 전주대 교수는 “이번 연구는 유연 바이오전자 소자와 뉴로모픽 프로세서를 결합해 웨어러블 인공지능 인터페이스의 새로운 가능성을 제시한 사례”라며 “향후 저전력 온디바이스 인공지능 기반 인간-컴퓨터 상호작용 기술 발전에 중요한 기반이 될 것”이라고 밝혔다.

한편 이번 연구 결과는 국제학술지 American Chemical Society(ACS)가 발행하는 나노과학 분야 권위지 ACS Nano 온라인 최신호에 게재됐다.

이번 연구는 한국연구재단 우수신진연구(XR 미래 인터페이스를 위한 크로스 생체신호 센싱 시스템 개발), 지역대학우수과학자(적응형 XR 크로스모달 뉴럴 인터페이스 기술 개발) 및 KIST QPU 집적광학플랫폼 기술 개발, 산업통상자원부 고휘도 OLEDoS 모듈 기반 중소형 웨어러블용 라이트필드 디스플레이 시스템 기술 등의 지원을 받았다.