[논문] OpenGlass: 온디바이스 이벤트 기반 제스처 인식을 위한 오픈소스 스마트 안경

개요

스마트 안경은 멀티모달 센서와 온‑디바이스 인텔리전스를 통해 비침해적이고 상황 인식이 가능한 인터랙션을 가능하게 하지만, 컴팩트한 폼팩터 내에서 전력, 메모리, 연산 자원의 제약으로 크게 제한됩니다. 이러한 규모에서 이벤트 기반 비전과 임베디드 머신러닝을 지원하는 오픈 하드웨어 플랫폼은 드뭅니다. 본 연구에서는 새로운 센서와 알고리즘을 빠르게 프로토타이핑할 수 있는 오픈소스 스마트 안경 플랫폼을 소개합니다. 모듈식 설계는 유연한 FPC 인터포저를 사용해 전체 PCB를 재설계하지 않고도 이벤트 기반 카메라와 프레임 기반 카메라를 모두 지원합니다. 하드웨어‑소프트웨어 공동 설계된 전원 관리 시스템은 구성 가능한 PMIC와 nRF5340 코디네이터를 통한 이벤트 구동 웨이크업을 결합해, 추론 사이에 GAP9 RISC‑V SoC를 전원 차단 상태로 유지합니다. 프로토타입은 200 mAh 배터리로 연속 온‑디바이스 ML을 최대 11.8시간 수행할 수 있습니다. 시연으로는 Prophesee GENX320 카메라에서 얻은 극성 분리 이벤트 히스토그램을 이용해 LynX 데이터셋에 대한 자가 중심 손 제스처 인식 파이프라인을 평가했습니다. R(2+1)D 모델은 두 피험자를 제외한 검증(leave‑two‑subjects‑out)에서 83.94 %의 교차 피험자 정확도(매크로 F1 = 0.781)를 달성했으며, GAP9에서 엔드‑투‑엔드 지연은 33.9 ms였습니다. 시간적 증강과 모호한 클래스 제거가 가장 큰 성능 향상(+8.9 pp)을 제공했습니다. 모든 하드웨어 설계, 펌웨어, 모델은 오픈소스로 공개됩니다.

주요 기여

• cs.CV

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

본 연구는 cs.CV 분야의 발전에 기여합니다.

저자

• Pietro Bonazzi
• Julian Moosmann
• Ahmet Celik
• Philipp Mayer
• Michele Magno

논문 정보

• arXiv ID: 2606.07431v1
• Categories: cs.CV
• Published: 2026년 6월 5일
• PDF: Download PDF