[Paper] 传感器泛化用于自适应感知的事件驱动目标检测 via 联合分布训练
Source: arXiv - 2602.23357v1
Overview
事件摄像头——有时称为神经形态或动态视觉传感器——以异步方式捕获亮度变化，提供微秒级的延迟、高动态范围以及几乎没有运动模糊。论文 Sensor Generalization for Adaptive Sensing in Event‑based Object Detection via Joint Distribution Training 探讨了一个实际问题：在事件数据上训练的模型往往会过度拟合特定传感器的特性，导致在不同设备或工作条件下的适用性受限。通过系统研究内在传感器参数如何塑造事件流，并提出联合分布训练方案，作者展示了如何构建在底层硬件变化时仍保持可靠性的目标检测器。
关键贡献
- 对传感器级参数的全面分析（例如，对比阈值、恢复期、噪声特性）以及它们对基于事件的目标检测性能的影响。
- Joint Distribution Training (JDT)：一种新颖的训练范式，能够在从一组传感器设置的分布而非单一固定配置模拟的数据上同时优化检测器。
- 传感器无关基准：引入跨传感器评估协议，用于量化在不同真实世界事件相机（如 Prophesee、DAVIS、ATIS）之间迁移时的鲁棒性。
- 开源工具包：用于在任意传感器参数化下合成事件流，支持可重复的研究和快速原型开发。
方法论
-
参数敏感性研究 – 作者首先从标准视频数据集（例如 COCO‑VID）生成合成事件流，同时遍历关键传感器参数。通过将这些流输入基线事件检测器（脉冲 CNN 或使用事件体素网格的传统 CNN），测量检测 AP（平均精度）的变化，定位导致性能波动最大的参数。
-
联合分布训练 (JDT) – 与其在训练期间固定单一传感器配置，JDT 从预定义分布中抽样一个 参数向量（例如，对比度阈值 ∼ Uniform[0.1, 0.4] % 的满量程）。每个小批次都使用在不同抽样设置下生成的事件进行增强，迫使网络学习对这些变化不变的特征。损失仍然是标准的检测损失（分类 + 边界框回归）。
-
跨传感器评估 – 使用 JDT 训练的模型在由三台不同相机捕获的真实事件数据上进行测试，每台相机都有其出厂校准的参数。性能与在单一传感器数据上训练的基线模型进行比较。
-
实现细节 – 检测器使用适配事件体素网格（时间表面表示）的 ResNet‑34 主干。训练在单个 RTX 3090 GPU 上进行；合成事件生成器基于 ESIM 框架，在 CPU 上并行运行并与数据加载同步。
结果与发现
| 模型 | 传感器内 AP | 跨传感器 AP（平均） | Δ（下降） |
|---|---|---|---|
| 基线（单传感器） | 48.2 % | 31.7 % | –16.5 % |
| JDT（提出） | 46.5 % | 44.1 % | –2.4 % |
- 鲁棒性提升：JDT 将跨传感器性能下降降低约 85 %，而对原始传感器的影响仅为轻微的损失。
- 参数影响排名：对比阈值和不应期是检测方差的主要因素；噪声水平的影响较小。
- 对未见传感器的泛化能力：在第四台未在训练中出现的摄像头上评估时，JDT 仍比基线高出约 12 % AP。
实际意义
- Device‑agnostic deployments – 开发者可以将单一的基于事件的检测模型部署到配备不同摄像头的边缘设备（例如无人机、AR 眼镜），无需针对每个设备进行微调。
- Reduced data collection costs – 通过在合成的传感器设置分布上进行训练，团队可以避免为每一次硬件更新收集标注事件数据的高昂成本。
- Adaptive sensing pipelines – 联合分布方法可以扩展到其他下游任务（光流、SLAM），从而实现能够自动补偿传感器漂移或老化的鲁棒感知堆栈。
- Tooling for rapid prototyping – 开源的事件模拟器让工程师能够在进行硬件更改之前，尝试“假设”情景（例如针对低光环境的更严格对比度阈值）。
限制与未来工作
- 合成‑真实差距：尽管作者将模拟器针对三台真实相机进行了校准，但一些细微的硬件特定伪影（例如像素级非均匀性）未被完全捕获，这可能限制对异构传感器的泛化能力。
- 计算开销：联合分布训练会使数据加载时间成倍增加，因为每个批次都需要实时合成事件；在更大数据集上扩展可能需要更高效的基于 GPU 的模拟器。
- 任务范围：本研究聚焦于二维目标检测；将该方法扩展到三维感知（例如基于事件的深度估计）仍是一个未解之题。
结论：通过将传感器特性视为分布而非固定常数，这项工作为真正可移植的事件相机 AI 铺平了道路——这是朝着低延迟、高动态范围视觉系统迈出的激动人心的一步，使其能够在野外各种硬件环境中可靠运行。
作者
- Aheli Saha
- René Schuster
- Didier Stricker
论文信息
- arXiv ID: 2602.23357v1
- 分类: cs.CV
- 出版日期: 2026年2月26日
- PDF: 下载 PDF