[Paper] 测量背景对用于自动驾驶感知的深度学习中分类和特征重要性的影响

Source: arXiv - 2512.05937v1

概览

本文研究了背景信息如何影响用于识别交通标志的深度学习模型——这是自动驾驶汽车（AV）感知任务的核心。通过创建一套具有受控背景相关性和相机变化的合成标志识别数据集，作者量化了模型在何时以及在何种程度上依赖背景线索而非标志本身。

主要贡献

• 系统化合成基准：六个交通标志数据集，仅在背景‑标志相关性和相机姿态上有所不同，能够干净地隔离背景效应。
• 背景依赖量化指标：在 Saliency 工具（Grad‑CAM、SHAP）基础上加入真实掩码，计算 背景重要性得分（Background Importance Score，BIS）。
• 跨模型族的实证分析：在所有数据集上评估 ResNet‑50、EfficientNet‑B0 和轻量级 MobileNet‑V2，揭示了背景依赖的统一模式。
• 数据集设计指南：展示相机多样性和背景随机化如何缓解伪背景学习，为 AV 感知流水线提供实用的数据采集建议。
• 开源发布：所有合成数据集、训练脚本和评估代码均可在 synset.de/datasets/synset-signset-ger/background-effect 公共获取。

方法论

1. 合成数据生成 – 使用图形管线（Blender + 程序化纹理），作者在 30 种背景场景上渲染交通标志。生成六种变体：
   • 低/高背景‑标志相关性（标志放置在少数 vs. 多数背景上）。
   • 低/高相机变化（固定正视图 vs. 随机偏航/俯仰/滚转及焦距）。
   • 仅形状控制，仅改变标志几何形状。
2. 模型训练 – 在每个数据集上运行标准图像分类流水线（交叉熵损失、Adam 优化器、100 epoch），实验中保持超参数不变。
3. 可解释性评估 – 对每张测试图像计算 Grad‑CAM 热图和 SHAP 值。通过将这些图与二值标志掩码相交，作者得到两个数值：
   • 对象重要性（显著性落在标志上的比例）。
   • 背景重要性得分（BIS = 1 – 对象重要性）。
4. 统计分析 – 将 BIS 按数据集和模型聚合，并与分类准确率相关联，以评估更高的背景依赖在不同训练条件下是提升还是削弱性能。

结果与发现

关键要点

• 当相机视角受限时，背景相关性提升原始准确率（模型利用背景作为捷径）。
• 增加相机变化显著降低 BIS，迫使网络关注标志本身，同时在高度相关的数据上略微降低准确率。
• EfficientNet 与 MobileNet 表现相同趋势，说明该现象与网络结构无关。
• 训练与测试域匹配时，背景依赖可能无害；但在域迁移（如新街道）下，高 BIS 会导致性能下降超过 10 %。

实际意义

• AV 感知的数据集设计 – 在采集真实标志图像时，刻意改变相机角度、光照和背景场景，以抑制伪背景学习。
• 模型验证 – 将背景重要性审计（Grad‑CAM + 掩码重叠）纳入 CI 流程；BIS 上升可在部署前标记过拟合。
• 迁移学习策略 – 在低相关、高变化的合成集合上预训练，再微调到真实交通数据，可获得更稳健的特征表示。
• 边缘设备考量 – 轻量模型（MobileNet‑V2）同样容易形成背景捷径，开发者不能仅凭模型大小规避此问题。
• 合规性 – 包含 BIS 的可解释性报告可满足新兴安全标准，证明车辆感知系统的决策基于相关目标而非场景。

局限性与未来工作

• 合成真实感 – 虽然图形管线加入了纹理变化，但背景仍缺乏真实城市场景的全部复杂性（如动态遮挡、天气）。
• 单类聚焦 – 本研究仅针对交通标志分类；需要将分析扩展到多类目标检测（行人、车辆）。
• 静态评估 – 未考虑时间线索（视频流）；未来可探讨运动信息如何减轻背景依赖。
• 更广的 XAI 工具 – 只评估了 Grad‑CAM 与 SHAP；评估其他显著性方法（如 LRP、Integrated Gradients）可能揭示不同的敏感性模式。

通过揭示 AV 感知模型中隐藏的背景像素作用，本文为开发者提供了具体的度量指标和数据采集策略，以构建更安全、更具泛化能力的自动驾驶系统。

作者

• Anne Sielemann
• Valentin Barner
• Stefan Wolf
• Masoud Roschani
• Jens Ziehn
• Juergen Beyerer

论文信息

• arXiv ID: 2512.05937v1
• 分类: cs.CV, cs.AI, cs.RO
• 发布日期: 2025 年 12 月 5 日
• PDF: Download PDF