[Paper] EventHub: 일반화 가능한 이벤트 기반 스테레오 네트워크를 위한 데이터 팩토리 (액티브 센서 없이)

Source: arXiv - 2604.02331v1

개요

이 논문은 EventHub를 소개한다. 이는 일반 RGB 이미지를 이벤트 카메라 데이터에서 작동하는 딥 스테레오 네트워크를 위한 학습 자료로 변환하는 데이터‑팩토리 파이프라인이며, 고가의 LiDAR나 구조광 센서에서 얻는 실제 깊이 정보를 전혀 필요로 하지 않는다. 최신 뷰‑합성 도구를 활용함으로써, 저자들은 현실적인 “프록시” 이벤트와 시차 라벨을 생성하고, 기존의 RGB‑중심 스테레오 모델을 이벤트 기반 비전으로 재활용할 수 있게 하여 강력한 도메인 간 성능을 제공한다.

주요 기여

• Data‑factory framework that synthesizes both proxy event streams and disparity annotations from standard color image pairs. → 표준 컬러 이미지 쌍으로부터 프록시 이벤트 스트림과 시차 주석을 모두 합성하는 Data‑factory 프레임워크.
• Two generation modes: (1) full proxy pipeline (synthetic events + disparities) using novel view synthesis, and (2) lightweight mode (disparities only) when real event data are already available. → 두 가지 생성 모드: (1) 새로운 뷰 합성을 이용한 전체 프록시 파이프라인(합성 이벤트 + 시차), (2) 실제 이벤트 데이터가 이미 존재할 때 시차만 생성하는 경량 모드.
• Model repurposing strategy that adapts state‑of‑the‑art RGB stereo networks (e.g., GA‑Net, PSMNet) to consume event data with minimal architectural changes. → 최신 RGB 스테레오 네트워크(e.g., GA‑Net, PSMNet)를 최소한의 구조 변경으로 이벤트 데이터를 처리하도록 재활용하는 모델 재목적화 전략.
• Empirical validation showing that EventHub‑trained event stereo models outperform prior event‑only baselines on multiple public benchmarks and even boost RGB stereo foundation models in low‑light/nighttime scenarios. → 실증적 검증을 통해 EventHub‑학습 이벤트 스테레오 모델이 다수의 공개 벤치마크에서 기존 이벤트 전용 베이스라인을 능가하고, 저조도·야간 상황에서 RGB 스테레오 기반 모델까지 향상시킴을 보여줌.
• Open‑source implementation and a ready‑to‑use synthetic dataset, lowering the barrier for research and product development on event cameras. → 오픈소스 구현 및 바로 사용할 수 있는 합성 데이터셋을 제공하여 이벤트 카메라 연구 및 제품 개발 장벽을 낮춤.

방법론

1. Input collection – 파이프라인은 공개된 RGB 스테레오 쌍(예: KITTI, Middlebury)에서 시작합니다.
2. Novel view synthesis – 사전 학습된 신경 렌더러(예: SynSin, Neural Radiance Fields)가 중간 시점을 생성하여 움직이는 카메라가 보는 모습을 효과적으로 시뮬레이션합니다.
3. Proxy event generation – 합성된 비디오에서 저자들은 픽셀당 강도 변화와 타임스탬프를 계산하여 이벤트 센서가 생성하는 비동기 스파이크를 모방합니다. 이를 통해 원본 장면 기하와 정렬된 현실적인 이벤트 스트림을 얻습니다.
4. Proxy disparity extraction – 원본 RGB 쌍에 이미 실제값 또는 고품질 시차 맵이 포함되어 있으므로 이를 이벤트‑스테레오 네트워크의 감독으로 직접 재사용합니다.
5. Training the event network – 기존 RGB 스테레오 아키텍처에 프록시 이벤트 텐서(보통 voxel grid 또는 이벤트 프레임 형태)를 입력하고, 프록시 시차를 사용해 표준 손실 함수(예: smooth L1)로 학습합니다. 아키텍처 전면 개편은 필요 없으며 입력 전처리만 변경됩니다.
6. Cross‑modal fine‑tuning – 실제 이벤트 데이터가 있을 경우 동일한 프록시 시차를 사용해 모델을 미세조정함으로써 도메인 격차를 더욱 줄일 수 있습니다.

결과 및 발견

• EventHub 모델은 실제 이벤트‑그라운드 트루스 없이도 다양한 조명 조건, 움직임 속도, 센서 노이즈 수준에 일반화됩니다.
• 동일한 프록시‑디스틸레이션 기법을 RGB 스테레오 기반 모델(예: RAFT‑Stereo)에 적용하면 야간 장면에서 상대 오류가 최대 **30 %**까지 감소합니다.
• Ablation 연구를 통해 프록시 이벤트와 프록시 시차가 서로 시너지 효과를 내는 것이 확인되었으며, 둘 중 하나를 제거하면 성능이 눈에 띄게 저하됩니다.

실용적 함의

• 빠른 프로토타이핑: 개발자는 이제 기존 RGB 데이터셋만으로 이벤트 기반 깊이 추정기를 학습시킬 수 있어 데이터 수집 비용을 크게 절감할 수 있습니다.
• 로봇을 위한 견고한 인식: 이벤트 카메라는 고속 또는 고다이내믹 레인지 상황(예: 드론, 자율주행 차량)에서 뛰어납니다. EventHub는 비용이 많이 드는 LiDAR 보정 없이도 이러한 플랫폼에 신뢰할 수 있는 깊이 추정을 제공합니다.
• 크로스모달 향상: 동일한 증류 파이프라인을 사용해 악조건 조명 환경에서 RGB 스테레오 모델을 미세 조정할 수 있어, 소비자 기기에서 야간 시야 인식을 저비용으로 개선할 수 있습니다.
• 플러그‑앤‑플레이 통합: 이 접근 방식이 기존의 RGB 스테레오 네트워크를 재사용하므로, 팀은 익숙한 툴체인(PyTorch, TensorFlow)과 기존 사전 학습 가중치를 활용해 배포 속도를 높일 수 있습니다.

제한 사항 및 향후 작업

• Synthetic bias: 프록시 이벤트는 현실적이지만 모든 센서 고유 노이즈 패턴(예: 핫 픽셀, 타임스탬프 지터)을 포착하지 못할 수 있어, 특수 하드웨어에서 성능이 제한될 수 있습니다.
• Dependence on high‑quality view synthesis: 생성된 이벤트의 품질은 기본 신경 렌더러에 달려 있으며, 합성이 부실하면 학습에 오류가 전파될 수 있습니다.
• Scalability to multi‑camera rigs: 현재 파이프라인은 바이노큘러 설정에 초점을 맞추고 있어, 다중 뷰 또는 전방위 이벤트 배열로 확장하는 것은 아직 해결되지 않은 과제입니다.
• Future directions suggested by the authors include: 센서 노이즈 모델을 이벤트 합성 단계에 통합하고, 실제 이벤트 스트림에 대한 자체 지도 학습 정제를 탐색하며, 프레임워크를 RGB‑이벤트 깊이 추정의 엔드‑투‑엔드 공동 학습에 적용하는 것이 포함됩니다.

저자

• Luca Bartolomei
• Fabio Tosi
• Matteo Poggi
• Stefano Mattoccia
• Guillermo Gallego

논문 정보

• arXiv ID: 2604.02331v1
• 카테고리: cs.CV
• 출판일: 2026년 4월 2일
• PDF: PDF 다운로드