[Paper] 低资源设备上的持续错误纠正

Source: arXiv - 2511.21652v1

概览

本文提出了一种轻量级的“持续错误纠正”系统，使终端用户能够在智能手机、可穿戴设备或物联网装置上修正 AI 的误分类。通过将服务器端的知识蒸馏流水线与设备上的原型（prototype）分类器相结合，作者实现了快速的少样本纠正，而无需进行完整模型的重新训练，从而避免了高计算和内存开销。

关键贡献

• 基于原型的设备端纠正： 用极小的原型向量取代昂贵的权重更新，可一次性添加/修改。
• 服务器端蒸馏框架： 将大型基础模型的丰富特征表示转移到紧凑、适合设备的架构上。
• 超低资源占用： 在典型 Android 硬件上，纠正步骤的内存增长 < 0.5 MB，延迟 < 10 ms。
• 视觉任务的实证验证： 在 Food‑101 与 Flowers‑102 上，单次用户纠正即可实现 > 50 % 错误率下降，遗忘率 ≤ 0.02 %。
• 端到端演示应用： 提供公开的 Android 原型，实现图像分类和目标检测的实时纠正。

方法论

1. 服务器端训练

   • 使用大型基础模型（如 CLIP、ViT）在目标领域进行微调。
   • 通过知识蒸馏将模型压缩为可在低功耗 CPU/NPU 上运行的轻量 CNN/Transformer。
   • 蒸馏模型为每张输入图像输出高维嵌入向量。

2. 设备端原型分类器

   • 设备上保存少量类别原型：每个类别（或检测任务中的每个实例）对应一个嵌入向量。
   • 通过最近原型搜索（如余弦相似度）完成分类。

3. 少样本错误纠正

   • 当用户标记误预测时，纠正后的图像在设备端编码器中生成嵌入。
   • 系统要么 (a) 为正确类别创建新原型，要么 (b) 使用简单的移动平均规则更新已有原型。
   • 无需基于梯度的反向传播或模型权重更改，保持 CPU 负载轻量。

4. 持续学习安全机制

   • 一个极小的回放缓冲区保存少量最近的原型，以防止灾难性遗忘。
   • 原型更新受到正则化约束，保持整体嵌入空间的稳定性。

结果与发现

关键要点： 单个用户提供的示例即可将受影响类别的错误率减半，而模型其余部分的性能几乎保持不变。即使是 100 类，原型存储的内存开销也低于 200 KB。

实际意义

• 设备端个性化： 应用可以让用户“教会”模型自己的视觉词汇（如自定义菜品、品牌标志），无需将数据上传至云端。
• 降低带宽与隐私风险： 纠正在本地完成，仅需一次性下载蒸馏后的编码器。
• 快速发布 bug 修复： 制造商可发布基础模型，并通过原型更新解决发布后发现的边缘案例错误。
• 低成本硬件的边缘 AI： 该方法在中端 Android 手机乃至微控制器级 NPU 上均可运行，为智能摄像头、AR 眼镜和工业传感器打开了可能。
• 开发者友好 API： 原型更新逻辑可封装为几行代码（例如 addPrototype(image, label)），便于移动 SDK 集成。

局限性与未来工作

• 原型可扩展性： 方法假设类别数量适中；极大词表可能需要层次化或压缩的原型结构。
• 嵌入漂移： 随着时间推移，蒸馏编码器的表示可能会漂移，需要周期性的服务器端再蒸馏并 OTA 更新。
• 检测粒度： 当前的目标检测纠正仅在类别层面起效，尚未支持细粒度的边界框微调。
• 用户体验研究： 论文提供了技术指标，但对系统化的 UX 评估（如用户纠错频率）仍留待后续研究。

作者

• Kirill Paramonov
• Mete Ozay
• Aristeidis Mystakidis
• Nikolaos Tsalikidis
• Dimitrios Sotos
• Anastasios Drosou
• Dimitrios Tzovaras
• Hyunjun Kim
• Kiseok Chang
• Sangdok Mo
• Namwoong Kim
• Woojong Yoo
• Jijoong Moon
• Umberto Michieli

论文信息

• arXiv ID: 2511.21652v1
• 分类: cs.CV, cs.AI, cs.LG
• 发布日期: 2025 年 11 月 26 日
• PDF: Download PDF