[Paper] LiDAS: 用于夜间感知的光照驱动动态主动感知

Source: arXiv - 2512.08912v1

概览

夜间驾驶是视觉系统面临的一个难题，因为它们只能利用现有的环境光。论文 “LiDAS: Lighting‑driven Dynamic Active Sensing for Nighttime Perception” 提出了一种巧妙的解决方案：利用汽车已有的前灯作为可控的照明装置，实时根据感知模型的需求进行调节。通过塑造光场以突出目标并暗化空旷区域，LiDAS 使得在白天训练的检测器在夜间表现大幅提升——且无需额外的训练数据。

关键贡献

• 闭环主动照明：引入一个反馈回路，感知模型预测光照位置，前灯即时执行该计划。
• 照明场优化：将照明表述为一个连续场，以最大化下游检测/分割指标，而不是简单的均匀增亮。
• 零样本夜间泛化：展示仅在白天数据上训练的模型通过自适应照明即可在夜间获得高性能，省去昂贵的夜间数据采集。
• 合成到真实的迁移：在渲染的夜景上训练照明策略，并直接部署到真实车辆上，证明了稳健的仿真到现实转移。
• 能效提升：在保持或提升感知性能的同时，将前灯功耗降低约 40 %。
• 兼容领域泛化：LiDAS 可叠加在现有的领域适应技术之上，进一步提升鲁棒性，且无需重新训练感知主干。

方法论

1. 感知主干 – 任意现成的目标检测或语义分割网络（如 YOLO、Mask‑RCNN）在当前摄像头帧上运行，输出目标可能出现位置的置信图。
2. 照明规划器 – 一个轻量级神经网络（或可微分优化器）接收置信图并预测空间照明强度图 (I(x, y))。规划器的训练目标是最大化下游损失的代理（例如负 mAP），同时遵守全局功率预算。
3. 闭环执行 – 预测的照明图被光栅化到车辆的高分辨率 LED 前灯上，前灯可以对每个像素或小区域调节强度。摄像头捕获新照明的场景，供下一轮感知使用。该回路在实验中以约 10 Hz 运行。
4. 在合成数据上训练 – 使用基于物理的夜间渲染管线，作者生成配对数据：干净的白天图像、对应的夜间图像以及通过梯度搜索得到的最优照明场。规划器学习逼近该最优场。
5. 部署 – 在真实夜间视频上无需微调，直接使用规划器，即构成零样本系统。

结果与发现

• 性能提升：即使功率相同，LiDAS 也将检测的平均精度提升近 19 %，分割的 IoU 提升 5 %。
• 节能效果：将前灯功率削减 40 % 仍然优于基线低光束，说明照明被更高效地利用。
• 互补性：与最先进的领域泛化方法（如风格迁移增强）结合时，LiDAS 还能额外提升约 3 % 的 mAP，证实其与模型层面的技巧正交工作。
• 真实闭环驾驶：在约 2 km 夜间道路测试中，系统保持了稳定的感知分数，未出现明显的闪烁或延迟。

实际意义

• 成本效益的夜视：汽车制造商可以在现有 LED 前灯阵列上加装一个适度的控制器和软件栈，避免昂贵的红外传感器或专用夜视摄像头。
• 零样本部署：车队运营商可以直接使用仅在白天数据上训练的新感知模型，即刻获得夜间能力，降低数据采集和标注成本。
• 面向电动汽车的能耗感知：节省 40 % 的前灯功耗直接转化为续航提升或为其他传感器预留预算。
• 开发者友好 API：照明规划器可作为简单的 “setIlluminationMap” 调用暴露，便于集成到 ROS、Apollo 或专有系统中。
• 安全与合规：系统遵守全局功率预算并可调至符合道路照明标准，为无需硬件改动的监管批准提供路径。

局限性与未来工作

• 硬件粒度：当前原型假设高分辨率、像素级的 LED 控制，这在大多数量产车上尚未普及。降至更粗的分区可能会削弱收益。
• 延迟约束：闭环以约 10 Hz 运行；更快的感知流水线（如 30 Hz）需要更优化的规划器或专用 ASIC。
• 天气鲁棒性：大雨或雾会散射定向光，降低效果；结合自适应曝光或额外传感器（如激光雷达）是待探索的方向。
• 跨领域推广：将 LiDAS 应用于其他场景（如夜间机器人、监控）需要针对不同的摄像头‑前灯几何重新训练规划器。

结论：LiDAS 证明了“智能前灯”可以成为夜间感知的游戏规则改变者，将一种普遍的车辆部件转化为主动视觉执行器，在提升安全的同时节约能源。对开发者而言，关键在于通过闭环将感知与照明相结合，便可在不进行大量夜间数据收集的前提下，充分发挥现有模型的潜力。

作者

• Simon de Moreau
• Andrei Bursuc
• Hafid El‑Idrissi
• Fabien Moutarde

论文信息

• arXiv ID: 2512.08912v1
• Categories: cs.CV, cs.RO
• Published: December 9, 2025
• PDF: Download PDF