[Paper] EventNeuS: 단일 이벤트 카메라로부터 3D 메쉬 재구성

Source: arXiv - 2602.03847v1

개요

EventNeuS는 단일 이벤트 카메라의 희소하고 비동기적인 데이터로부터 고품질 3D 메쉬를 복원할 수 있는 self‑supervised 신경 파이프라인을 도입합니다. signed distance function (SDF) 학습과 event‑based supervision을 결합함으로써, 이 방법은 기존 연구를 훨씬 능가하는 정확도의 이벤트 기반 3‑D 복원을 가능하게 하며, 로봇공학 및 AR/VR 분야에서 경량·저지연 인식을 위한 길을 열어줍니다.

핵심 기여

• 연속적인 SDF + 밀도 필드를 학습하는 최초의 이벤트 카메라 파이프라인으로, 단일 이벤트 스트림으로부터 전체 3‑D 메시를 복원합니다.
• 자기 지도 학습을 사용하여 실제 기하학이나 깊이 맵이 전혀 필요 없으며, 모델은 오직 이벤트 데이터 자체만으로 구동됩니다.
• 구면 조화 인코딩을 신경 표현에 통합하여, 이벤트 스트림에서 흔히 나타나는 시점‑의존 조명 및 모션 블러 효과를 포착합니다.
• 뛰어난 정량적 향상: 기존 최강 이벤트 기반 재구성 베이스라인 대비 챔퍼 거리 34 % 감소, 평균 절대 오차(MAE) 31 % 감소를 달성했습니다.
• 오픈 소스 구현(코드 및 사전 학습 가중치)으로, 기존 이벤트 카메라 파이프라인에 손쉽게 적용할 수 있습니다.

Methodology

1. Event Stream Pre‑processing – 원시 비동기 이벤트 (x, y, t, polarity)를 짧고 겹치는 시간 창으로 누적하여 “event frames” 집합을 만든다. 이는 높은 시간 해상도를 유지하면서 신경망 처리를 위한 충분한 밀도를 제공한다.

2. Neural Implicit Representation – 다층 퍼셉트론(MLP)이 任意의 3‑D 점에 대해 두 개의 필드를 예측한다:

   • Signed Distance Function (SDF) – 표면 기하학을 인코딩한다.
   • Density (σ) – 부피 불투명도를 모델링하여 이벤트 카메라의 움직임 흐림 측정을 미분 가능하게 렌더링한다.

3. Spherical Harmonics Lighting – 단순한 색상/텍스처 브랜치 대신, 네트워크는 저차수 구면 조화 기반을 학습하여 시점 방향에 따라 방출 강도를 조절한다. 이는 이벤트 카메라에서 흔히 나타나는 강한 시점 의존 대비 변화를 처리한다.

4. Self‑Supervised Event Loss – 예측된 밀도 필드를 미분 가능한 이벤트 생성 모델을 사용해 합성 이벤트 프레임으로 렌더링한다(이벤트 극성은 시간 강도 기울기로부터 도출). 손실은 이 합성 이벤트와 실제 이벤트를 이진 교차 엔트로피(극성)와 L1(타임스탬프) 항의 조합으로 비교한다.

5. Optimization – 전체 시스템을 Adam으로 엔드‑투‑엔드 학습한다. 기하학 업데이트(SDF)와 외관 업데이트(구면 조화)를 번갈아 수행한다. 외부 감독(예: 깊이 센서)은 필요하지 않는다.

Results & Findings

• Geometry quality: 재구성된 메시는 이전 이벤트‑기반 방법이 놓친 섬세한 디테일(예: 얇은 가장자리, 작은 돌출부)을 포착합니다.
• Robustness to motion: 밀도 필드가 모션 블러를 모델링하기 때문에 카메라나 장면이 빠르게 움직여도 시스템이 안정적으로 유지됩니다.
• Generalization: 실내 테이블 위 객체, 실외 거리 장면, 고속 이동 드론에 대한 실험에서 도메인별 재학습 없이도 일관된 개선이 나타났습니다.

실용적인 시사점

• 저전력 로봇공학 – 이벤트 카메라는 RGB‑D 센서에 비해 수십 배 적은 전력을 소비합니다. EventNeuS는 로봇이 엣지에서 고밀도 3‑D 맵을 구축하도록 하여 배터리 수명이 중요한 드론, 마이크로 로봇, 웨어러블에 이상적입니다.
• 고속 SLAM – 빠른 움직임을 모션 블러 없이 처리할 수 있는 이 방법은 고속 내비게이션(예: 자율 레이싱)용 SLAM 파이프라인에 강력한 후보가 됩니다.
• AR/VR 헤드셋 – 이벤트 기반 깊이 추정은 눈 추적 및 초점 렌더링을 보완하여 전통적인 깊이 카메라의 지연 없이 실시간 장면 기하 정보를 제공합니다.
• 산업 검사 – 용접, 야간 검사와 같이 조명이 거친 환경에서 이벤트 카메라는 뛰어난 성능을 발휘합니다; EventNeuS는 결함 탐지를 위한 정확한 CAD‑준비 메쉬를 생성할 수 있습니다.

개발자는 제공된 PyTorch 모듈을 기존 인식 스택에 통합하여, RGB 기반 메쉬 재구성 컴포넌트를 이벤트 기반으로 교체하고, 보통 GPU 혹은 임베디드 AI 가속기에서도 실행할 수 있습니다.

제한 사항 및 향후 작업

• SDF에 대한 정적 장면 가정 – 현재 공식은 대부분 정적인 기하학을 가정하며, 움직이는 객체는 밀도 필드에서 잡음으로 인코딩됩니다. 동적 SDF로 확장하면 전체 장면 흐름 재구성이 가능해집니다.
• 해상도 트레이드오프 – 이 방법은 중간 규모 객체에 대해 잘 작동하지만, 대형 실외 환경을 재구성하려면 메모리 사용량을 관리하기 위해 계층적 또는 다중 스케일 전략이 여전히 필요합니다.
• 이벤트 잡음 민감도 – 매우 어두운 환경에서는 이벤트 희소성으로 인해 자체 지도 손실이 악화될 수 있습니다; 디노이징 전처리 또는 하이브리드 RGB‑이벤트 융합을 도입하면 이를 완화할 수 있습니다.

향후 연구 방향으로는 동적 장면 모델링, 다중 카메라 이벤트 융합, 그리고 폐루프 내비게이션을 위한 SLAM 백엔드와의 실시간 통합이 포함됩니다.

저자

• Shreyas Sachan
• Viktor Rudnev
• Mohamed Elgharib
• Christian Theobalt
• Vladislav Golyanik

논문 정보

• arXiv ID: 2602.03847v1
• 분류: cs.CV
• 출판일: 2026년 2월 3일
• PDF: PDF 다운로드