[Paper] 多层特征融合用于视觉质量检测的持续学习

Source: arXiv - 2601.00725v1

概述

本文解决了自动化视觉质量检测中的一个现实瓶颈：当产品、缺陷类型或生产线不断变化时，如何保持深度学习模型的最新状态。作者将其框定为持续学习问题，提出了一种 多层特征融合 (MLFF) 技术，该技术复用冻结的预训练骨干网络，仅学习轻量级适配器来组合来自不同深度的特征。其结果是一个能够快速适应、可训练参数显著更少，并且缓解灾难性遗忘的系统——使其在生产环境中更加实用。

关键贡献

• 多层特征融合（MLFF） 架构，聚合来自冻结的预训练 CNN 的浅层、中间层和深层的表征。
• 参数高效的适配：仅训练一小部分融合权重和任务特定的头部，与完整微调相比，可将可训练参数减少高达 90 %。
• 稳健的持续学习流水线：在引入新产品线或缺陷模式时，展示了降低遗忘并提升泛化能力的效果。
• 在多个检测数据集上的实证验证（例如表面缺陷检测、组件错位），显示出与端到端训练相当的性能，同时计算开销大幅降低。
• 开源实现（随论文一起发布），可与 PyTorch、TensorFlow 等主流框架无缝集成。

方法论

1. 预训练骨干网络 – 标准的 CNN（例如 ResNet‑50）在大型通用视觉数据集上训练一次，然后冻结。
2. 多层深度特征提取 – 在选定的块（早期、中期、后期）之后获取网络输出，作为一组特征图。
3. 融合层 – 一个轻量的可训练模块（通常是 1×1 卷积后接全局平均池化）学习对这些多尺度特征加权并合并为单一描述符。
4. 任务特定头部 – 对每个检测任务（新产品类型或缺陷类别），在融合描述符上附加一个小型分类器/回归器。
5. 持续学习循环 – 当有新批次的标注图像到来时，仅优化融合层和新头部（使用少量 epoch 和适度的学习率）。冻结的骨干网络保持不变，防止导致灾难性遗忘的漂移。
6. 正则化 – 可选的知识蒸馏损失在当前融合表示与之前的表示之间进一步稳定跨任务的性能。

整个流水线可以在单个 GPU 上在几分钟内完成，即使数据集包含数万张图像。

结果与发现

• 性能相当：在所有基准测试中，MLFF 与完整网络微调的准确率相差不超过 0.5 %。
• 速度与计算：在 RTX 3080 上训练新任务约需 5 分钟，而完整微调约需 45 分钟。
• 灾难性遗忘：在添加新任务后，平均精度均值（mAP）的下降对 MLFF 始终更低，证明其稳定性。
• 对域迁移的鲁棒性：在全新产品系列上评估时，融合特征的泛化能力优于单一深层，可能是因为浅层保留了跨产品不变的纹理级线索。

实际意义

• 快速模型部署 – 工厂可以部署一个基础检测模型，然后在数小时内“插件”新的缺陷检测器，而不是数天，从而将生产线停机时间降至最低。
• 边缘友好部署 – 由于主干网络保持冻结，只需在边缘设备上存储少量的融合权重和头部，降低内存占用并减小 OTA 更新体积。
• 成本效益的扩展 – 企业可以在多个产品线之间共享同一个主干网络，避免为每条线单独训练和存储完整模型。
• 合规监管 – 冻结主干网络的确定性特性简化了审计追踪；仅轻量级适配器会变化，使版本控制和验证更为容易。
• 跨领域复用 – 同一预训练主干网络可通过简单添加新的融合头部，复用于其他视觉任务（例如表面粗糙度测量、分拣抓取），加速研发周期。

限制与未来工作

• 依赖强大的预训练骨干网络 – 如果初始骨干网络与目标领域（例如高度专业化的材料）不够匹配，融合后的特征仍可能缺乏判别能力。
• 对非CNN骨干网络的探索有限 – 本研究聚焦于ResNet风格的架构；将MLFF应用于视觉Transformer或混合模型仍是未解之谜。
• 大量头部的可扩展性 – 虽然每个新任务只增加一个小的头部，但任务数量极多时可能会在受限的边缘硬件上导致内存压力。

未来方向作者提出包括：

1. 基于任务相似性动态选择要融合的层。
2. 与无监督领域适应相结合，以进一步降低标注工作量。
3. 将该方法扩展到多模态检测（例如，结合视觉和热成像数据）。

作者

• Johannes C. Bauer
• Paul Geng
• Stephan Trattnig
• Petr Dokládal
• Rüdiger Daub

论文信息

• arXiv ID: 2601.00725v1
• 分类: cs.CV
• 出版时间: 2026年1月2日
• PDF: 下载 PDF