[Paper] EventNeuS: 单目事件相机的 3D 网格重建

⚠️ Translation Warnings:

• Body: Section 9 error: Error code: 429 - {‘error’: {‘message’: ‘429 Too Many Requests: too many concurrent requests’, ‘type

Source: arXiv - 2602.03847v1

概述

EventNeuS 引入了一种自监督神经管线，能够从单个事件相机的稀疏、异步数据中重建高质量的 3D 网格。通过将有符号距离函数（SDF）学习与基于事件的监督相结合，该方法将事件驱动的 3D 重建精度提升至远超以往工作，为机器人和 AR/VR 中的轻量级、低延迟感知打开了大门。

关键贡献

• 首个事件相机管线，学习连续的 SDF + 密度场，用于从单目事件流中完整恢复 3‑D 网格。
• 自监督训练，无需真实几何或深度图；模型仅由事件数据本身驱动。
• 球面谐波编码 集成到神经表示中，以捕捉事件流中常见的视角相关光照和运动模糊效应。
• 显著的量化提升：相较于最强的现有基于事件的重建基线，Chamfer 距离降低 34 %，平均绝对误差（MAE）降低 31 %。
• 开源实现（代码和预训练权重），可直接集成到现有的事件相机管线中。

方法论

1. 事件流预处理 – 将原始的异步事件 (x, y, t, polarity) 累积到短的、重叠的时间窗口中，生成一组“事件帧”，在保持高时间分辨率的同时提供足够的密度以供神经网络处理。

2. 神经隐式表示 – 多层感知机 (MLP) 为任意 3‑D 点预测两个场：

   • 有符号距离函数 (Signed Distance Function, SDF) – 编码表面几何形状。
   • 密度 (σ) – 建模体积不透明度，使得事件相机的运动模糊测量能够进行可微渲染。

3. 球面谐波光照 – 网络不使用简单的颜色/纹理分支，而是学习低阶球面谐波基，对发射强度进行视角依赖的调制。这能够处理事件相机典型的强视角相关对比度变化。

4. 自监督事件损失 – 将预测的密度场通过可微事件生成模型渲染成合成事件帧（事件极性由时间强度梯度得到）。损失通过二元交叉熵（极性）和 L1（时间戳）项的组合，将这些合成事件与真实事件进行比较。

5. 优化 – 整个系统使用 Adam 端到端训练，在几何更新（SDF）和外观更新（球面谐波）之间交替进行。无需外部监督（例如深度传感器）。

结果与发现

• 几何质量：重建的网格捕捉到了细微的细节（例如细边缘、小突起），而之前的基于事件的方法往往会漏掉这些细节。
• 对运动的鲁棒性：由于密度场能够建模运动模糊，即使相机或场景快速移动，系统仍保持稳定。
• 泛化能力：在室内桌面物体、户外街景以及高速移动的无人机等实验中，均表现出一致的提升，无需针对每个领域重新训练。

实际意义

• Low‑Power Robotics – 事件相机的功耗比 RGB‑D 传感器低几个数量级。EventNeuS 使机器人能够在边缘设备上构建密集的 3‑D 地图，适用于对电池寿命要求极高的无人机、微型机器人或可穿戴设备。
• High‑Speed SLAM – 该方法能够在不产生运动模糊伪影的情况下处理快速运动，使其成为高速导航（例如自动赛车）中 SLAM 流程的有力候选。
• AR/VR Headsets – 基于事件的深度估计可以与眼动追踪和凹形渲染相结合，实时提供场景几何信息，且没有传统深度相机的延迟。
• Industrial Inspection – 在光照苛刻的环境（如焊接、夜间检测）中，事件相机表现出色；EventNeuS 能生成精确的、可直接用于 CAD 的网格，以进行缺陷检测。

开发者可以将提供的 PyTorch 模块集成到现有的感知系统中，用基于事件的网格重建组件替换原来的 RGB‑based 组件，该组件可在普通 GPU 或甚至嵌入式 AI 加速器上运行。

局限性与未来工作

• Static‑Scene Assumption for SDF – 当前的公式假设几何体基本是静态的；运动的物体会被编码为密度场中的噪声。将其扩展到动态 SDF 可以实现完整的场景流重建。
• Resolution Trade‑off – 虽然该方法在中等尺度的物体上表现良好，但要重建大尺度的户外环境仍需采用层次化或多尺度策略，以保持内存使用可控。
• Event Noise Sensitivity – 在极低光照条件下，事件稀疏会削弱自监督损失；引入去噪前端或混合 RGB‑event 融合可能缓解此问题。

未来的研究方向包括动态场景建模、多摄像头事件融合，以及与 SLAM 后端的实时集成以实现闭环导航。

作者

• Shreyas Sachan
• Viktor Rudnev
• Mohamed Elgharib
• Christian Theobalt
• Vladislav Golyanik

Paper Information

• arXiv ID: 2602.03847v1
• Categories: cs.CV
• Published: February 3, 2026
• PDF: Download PDF