[Paper] 基于散度的自适应聚合用于拜占庭鲁棒联邦学习

Source: arXiv - 2601.06903v1

请提供您希望翻译的具体文本内容（例如摘要、引言或其他章节），我将按照要求保留原始格式、代码块和链接，仅翻译正文部分为简体中文。谢谢！

概览

联邦学习（FL）承诺在众多边缘设备上进行隐私保护的模型训练，但两个实际障碍常常使其受挫：由异构本地数据导致的 client drift，以及受损设备发送恶意更新的 Byzantine attacks。本文提出了两种新的聚合框架——DRAG 及其针对拜占庭攻击强化的变体 BR‑DRAG——它们能够自动将本地更新对齐到可信方向，显著提升收敛速度和鲁棒性，且无需额外的通信开销。

关键贡献

• 基于散度的自适应聚合（DRAG）： 一种新颖度量 degree的散度，量化每个客户端的梯度相对于服务器计算的参考方向的偏离程度。
• 局部更新的线性校准： 客户端在本地对其更新进行重新缩放，以匹配参考方向，缓解因数据异质性导致的漂移，无需额外的通信轮次。
• 拜占庭容错 DRAG（BR‑DRAG）： 通过在服务器上维护经过审查的 根数据集 来生成可信的参考方向，抵消恶意更新。
• 理论保证： 在现实的联邦学习设置（部分参与、数据异构以及有界比例的拜占庭客户端）下，证明对非凸模型的快速收敛。
• 实证验证： 在标准联邦学习基准上的实验表明，DRAG 超越了最先进的漂移缓解方法，而 BR‑DRAG 在各种拜占庭攻击策略下仍保持高准确率。

方法论

1. 参考方向构建
   • 服务器聚合一小部分干净的数据（根数据集），计算一个 参考梯度，该梯度反映真实的学习方向。
2. 偏差程度
   • 每个客户端测量其本地梯度与参考方向之间的角度（或余弦相似度），得到一个标量 偏差 值。
3. 线性校准
   • 客户端对本地梯度应用一个简单的标量乘子，使其方向与参考方向对齐。此操作在本地完成，不产生额外通信。
4. 拜占庭过滤（仅限 BR‑DRAG）
   • 服务器丢弃偏差超过动态设定阈值的更新，认为这些更新可能是恶意的。
5. 聚合
   • 对已校准（并已过滤）的更新进行常规的 FedAvg 平均，生成下一轮全局模型。

整个流程可以无缝嵌入现有的联邦学习管道：唯一新增的步骤是服务器端的参考计算（每轮一次）和客户端的轻量级缩放。

结果与发现

• 收敛速度： DRAG 在比 FedAvg 少约 30 % 的通信轮次下即可达到最终准确率的 80 %。
• 鲁棒性： 即使三分之一的参与者发起复杂的模型投毒攻击，BR‑DRAG 仍能保持 >80 % 的准确率，而大多数现有的鲁棒聚合器在此情况下会跌破 60 %。
• 开销： 两种方法每个客户端仅增加 <0.5 ms 的计算量且不额外占用带宽，因而适用于移动/物联网设备。

实际意义

• 即插即用的鲁棒性: 开发者可以将 DRAG/BR‑DRAG 直接嵌入现有的联邦学习框架（TensorFlow Federated、PySyft、Flower），只需极少的代码修改——仅需一个参考梯度钩子和一个标量校准步骤。
• 边缘设备效率: 由于校准仅是一次简单的乘法运算，即使是低功耗传感器也能采用该技术而不会耗尽电池。
• 安全优先的部署: 在服务器上拥有少量可信数据切片（例如验证集）的场景下，BR‑DRAG 提供了一种轻量级的替代方案，取代传统的重量级密码防御（如安全聚合 + 差分隐私）。
• 加速模型发布: 更快的收敛意味着通信轮次更少，从而降低网络成本和延迟，适用于联邦移动应用、智能家居生态系统或自动驾驶车队的 OTA 模型更新。

限制与未来工作

• 根数据集依赖性： BR‑DRAG 假设服务器能够维护一个干净且具代表性的数据集。在高度隐私敏感的领域，这可能不可行。
• 有界拜占庭比例： 理论保证仅在有限比例的恶意客户端（通常 < 30 %）下成立；极端攻击情形仍是未解决的挑战。
• 非凸证明为渐近性质： 收敛性证明依赖标准的平滑性假设；更紧的有限样本界限可以提升对安全关键应用的信心。
• 未来方向： 将 DRAG 扩展到层次化联邦学习（边缘到云）并探索尊重隐私预算的自适应根集合更新是有前景的后续步骤。

底线： DRAG 和 BR‑DRAG 提供了一种 简单、无通信 的方式来对齐异构客户端更新并防御拜占庭行为，实现更快、更可靠的联邦训练——这对任何生产级联邦学习部署都是有吸引力的升级。

作者

• Bingnan Xiao
• Feng Zhu
• Jingjing Zhang
• Wei Ni
• Xin Wang

论文信息

• arXiv ID: 2601.06903v1
• 分类: cs.DC
• 发表时间: 2026年1月11日
• PDF: 下载 PDF