[Paper] FedSIR：带噪声标签的联邦学习的谱客户端识别与重新标记

Source: arXiv - 2604.20825v1

请提供您希望翻译的正文内容，我将按照要求进行简体中文翻译并保留原有的格式。

概述

联邦学习（FL）允许众多设备在不将原始数据发送到中心服务器的情况下共同训练一个共享模型。然而，当本地数据集包含标记错误的样本时——这在真实世界的边缘部署中是常见问题——全局模型可能会迅速退化。论文 FedSIR 提出了一种多阶段框架，能够检测哪些客户端可能存在噪声标签，自动为可疑样本重新标记，并调整联邦训练循环，使其对剩余噪声具有鲁棒性。

关键贡献

• 光谱客户端诊断 – 利用类级特征嵌入的特征值结构，在仅增加少量通信轮次的情况下，将“干净”客户端与“噪声”客户端区分开来。
• 跨客户端重新标记 – 干净的客户端提供可靠的类方向向量；噪声客户端将其数据投影到这些方向及残差子空间上，以生成纠正后的标签。
• 噪声感知训练流水线 – 结合对数调整损失、来自干净客户端模型的知识蒸馏以及距离感知聚合规则，以在标签腐败情况下稳定联邦学习更新。
• 全面的实证验证 – 在流行的联邦学习基准（CIFAR‑10/100、FEMNIST）上，在不同噪声率（20‑60 %）范围内，展示了相较于最强基线的一致性提升。
• 开源实现 – 完整代码已发布，支持可重复性并易于集成到现有的联邦学习流水线中。

方法论

FedSIR 在三个阶段运行，每个阶段旨在保持通信预算低：

1. 光谱一致性检查

   • 在一次本地训练的初始轮次后，每个客户端提取按类别划分的特征矩阵（例如倒数第二层的输出）。
   • 服务器对聚合后的类别子空间执行轻量级奇异值分解（SVD）。
   • 与全局主导方向对齐良好的子空间的客户端被标记为 clean；若出现较大偏差，则表明可能存在标签噪声。

2. 基于参考的重新标记

   • 干净的客户端广播每个类别的主特征向量（即“光谱参考”）。
   • 噪声客户端将其样本投影到这些参考上。如果样本的投影与其原始标签对齐度低，而与另一类别方向对齐度高，则翻转标签。
   • 还会检查残差分量（与主子空间正交的部分），以捕捉细微的错位，提供二次纠正机会。

3. 噪声感知的联邦优化

   • Logit‑adjusted loss：根据估计的类别噪声率对分类器的 logits 进行平移，降低对噪声类别的偏置。
   • Knowledge distillation：干净的客户端充当教师；其软化的预测用于正则化噪声客户端的更新。
   • Distance‑aware aggregation：服务器根据第一阶段测得的光谱距离为每个客户端的模型更新加权，使更干净的参与者拥有更大影响力。

这些步骤会重复若干通信轮次，逐步提升标签质量和全局模型的表现。

结果与发现

• 对高噪声的鲁棒性：即使在 60 % 对称噪声下，FedSIR 仍保持 >60 % 的准确率，而竞争方法跌至 45 % 以下。
• 通信效率：额外的谱诊断每轮仅增加 <0.5 MB（相较于典型模型更新微不足道）。
• 消融实验 证实，每个组件（谱检测、重新标记、对数调整损失）大约贡献 3–5 % 的绝对提升，组合在一起则实现全部提升。

实际意义

• 边缘 AI 部署 – 设备（智能手机、物联网传感器）经常收到众包或用户生成的噪声标签。FedSIR 可以直接嵌入现有的联邦学习框架（TensorFlow Federated、PySyft），自动清理这些标签，无需中心化的数据审计。
• 降低手动整理需求 – 通过提前标记噪声客户端，运营者可以决定是否排除有问题的设备或请求额外监督，从而节省昂贵的数据标注周期。
• 提升模型可靠性 – 在联邦医学影像或自动驾驶感知等应用中，错误标签可能带来安全隐患，额外的鲁棒性能够带来显著收益。
• 可扩展到异构环境 – 即使客户端拥有不同的模型架构或数据分布，光谱检查仍然有效，使其适用于跨筒仓的联邦学习场景（例如多个医院）。

局限性与未来工作

• 类级特征线性假设 – 谱方法假设干净数据形成一致的低维子空间；高度非线性的类流形可能削弱检测准确性。
• 额外的本地计算 – 对特征矩阵执行 SVD 对于非常大的模型或资源受限的设备可能代价高昂；作者建议使用近似方法作为下一步。
• 静态噪声率 – 当前的对数调整损失使用每类固定的噪声估计；在线调整该估计可能进一步提升性能。
• 更广泛的噪声模型 – 实验聚焦于对称噪声和类依赖噪声；将其扩展到实例依赖或对抗性标签攻击仍是未解之题。

总体而言，FedSIR 提供了一种务实且通信开销低的方案，使联邦学习能够抵御噪声标签——随着联邦学习从研究实验室走向生产级生态系统，噪声标签已成为日益常见的障碍。

作者

• Sina Gholami
• Abdulmoneam Ali
• Tania Haghighi
• Ahmed Arafa
• Minhaj Nur Alam

论文信息

• arXiv ID: 2604.20825v1
• 分类: cs.LG, cs.AI, cs.CV, cs.DC, eess.SP
• 发表时间: 2026年4月22日
• PDF: 下载 PDF