[Paper] 实用框架用于隐私保护和拜占庭鲁棒的联邦学习

Source: arXiv - 2512.17254v1

请提供您希望翻译的具体文本（例如摘要、引言或全文的某一部分），我将按照要求把它翻译成简体中文，并保留原有的格式、Markdown 语法以及技术术语。谢谢！

概述

本文介绍了 ABBR，一个实用框架，能够同时防御联邦学习（FL）中的拜占庭（恶意）模型更新和隐私推断攻击。通过利用降维技术，ABBR 使得繁重的密码学过滤步骤足够快速，适用于真实世界的部署，同时保持最先进聚合规则的鲁棒性保证。

关键贡献

• 首次使用降维来加速隐私保护联邦学习中复杂过滤规则的私有计算。
• 理论分析在低维空间中进行向量级过滤导致的准确性损失。
• 自适应调优策略，自动调整过滤阈值，以减轻通过的恶意更新的影响。
• 与现有拜占庭鲁棒聚合器的集成（例如 Krum、Median、Trimmed Mean），无需重新设计它们。
• 全面的实证评估在标准联邦学习基准上显示出数量级的加速，并且相较于先前的防御方案，额外通信开销可忽略不计。

方法论

1. 客户端预处理 – 每个客户端使用随机投影矩阵（例如 Johnson‑Lindenstrauss 变换）压缩其本地模型梯度（或权重更新）。这将维度从数百万参数降低到几百，同时保持成对距离。
2. 安全过滤 – 将压缩向量使用轻量级的秘密共享或同态加密方案加密。服务器在加密的低维数据上直接运行所选的拜占庭鲁棒聚合规则，这比在完整模型上操作要便宜得多。
3. 自适应阈值 – 服务器监控过滤后更新的分布；如果方差激增（表明可能存在恶意绕过），它会自动收紧过滤器的接受半径。
4. 重构 – 接受的低维更新使用相同的随机矩阵投影回原始空间，并聚合形成全局模型。
5. 隐私保证 – 因为仅交换压缩的、加密的向量，攻击者无法重建原始客户端数据，且随机投影提供了类似差分隐私的额外混淆层。

结果与发现

• ABBR 将 GPU 上的计算时间缩短约 ≈ 10倍，CPU 上约 ≈ 9倍。
• 由于紧凑表示，通信量降低约 ≈ 13倍。
• 模型准确率和拜占庭鲁棒性几乎保持不变（下降 ≤ 0.3 %）。
• 即使攻击者构造能够通过低维过滤器的更新，自适应调优仍能保持攻击成功率低。

实际意义

• 可部署在边缘设备上：轻量级的投影和加密步骤能够符合智能手机、物联网传感器或嵌入式 GPU 的内存和计算预算。
• 成本效益高的云编排：服务提供商可以以更低的 CPU/GPU 费用运行安全的联邦学习任务，使具备隐私保护的联邦学习在 SaaS 平台上具备经济可行性。
• 兼容现有流水线：由于 ABBR 作为任何拜占庭鲁棒聚合器的包装器工作，团队可以在不重写模型训练代码的情况下采用它。
• 符合法规要求：降低的数据暴露以及可证明的隐私保证有助于满足 GDPR 类的数据最小化要求。
• 快速原型开发：开发者可以在不产生高昂运行时开销的情况下，尝试更强的对抗设置（更高的拜占庭比例）。

限制与未来工作

• 投影维度权衡：选择过于激进的降维可能会降低过滤器的精度；论文将针对异构模型规模的最佳维度选择留作未解之题。
• 诚实但好奇的服务器假设：ABBR 能保护客户端更新免受外部攻击者的侵害，但仍依赖服务器正确实现自适应阈值。完全恶意的服务器情景尚未覆盖。
• 攻击范围有限：实验主要聚焦于后门攻击和标签翻转攻击；未来工作可以探索更复杂的模型中毒策略（例如梯度匹配攻击）。
• 向异构数据的扩展：当前评估使用的是 IID 数据划分；将 ABBR 适配到非 IID 联邦设置（在实际部署中常见）需要进一步研究。

总体而言，ABBR 弥合了理论鲁棒性/隐私保证与生产级联邦学习性能约束之间的差距，为需要安全、可扩展协作 AI 的开发者提供了即用型工具包。

作者

• Baolei Zhang
• Minghong Fang
• Zhuqing Liu
• Biao Yi
• Peizhao Zhou
• Yuan Wang
• Tong Li
• Zheli Liu

论文信息

• arXiv ID: 2512.17254v1
• 分类: cs.CR, cs.DC, cs.LG
• 发布时间: 2025年12月19日
• PDF: 下载 PDF