[Paper] PRISM-FCP:通过部分共享实现拜占庭容错的联邦保形预测

发布: (2026年2月21日 GMT+8 02:01)
8 分钟阅读
原文: arXiv

Source: arXiv - 2602.18396v1

概述

一个名为 PRISM‑FCP 的新框架解决了联邦学习中长期存在的盲点:当部分参与者行为恶意(拜占庭攻击)时,如何保持不确定性估计的可靠性。通过将 partial model sharing 与稳健的共形校准步骤相结合,作者表明可以同时保留紧凑的预测区间 并且 防御被投毒的更新——而之前的方法仅在校准阶段处理此问题。

关键贡献

  • 端到端拜占庭鲁棒性:同时保护训练阶段和符合性校准阶段,弥补了现有联邦符合性预测(FCP)流程中的空白。
  • 部分参数共享:每轮每个客户端仅上传 M / D 的模型参数, 将对手的影响降低至 M/D,并减少通信带宽。
  • 基于统计边距的校准:将原始非符合性得分转换为“特征向量”,计算基于距离的恶意得分,并在估计分位数前有选择地降低权重或丢弃可疑贡献。
  • 理论保证:推导出均方误差(MSE)界限,其随共享比例 M/D 成比例收敛,并证明在有界的拜占庭比例下覆盖保证仍然成立。
  • 广泛的实证验证:在合成基准和 UCI 超导性数据集上的实验表明,即使有高达 30 % 的客户端是拜占庭的情况下,也能实现名义覆盖率(≈95 %)并显著缩小区间宽度,相较于普通 FCP 有明显提升。

方法论

1. 训练期间的部分共享

  • 全局模型有 D 个参数。在每轮通信中,客户端随机选择其中的 M 个(例如占总数的 20 %),仅将这些更新发送给服务器。
  • 服务器对稀疏更新进行聚合(例如通过稳健均值或中位数),并将重建的完整模型广播回客户端。
  • 由于攻击者只能篡改它发送的 M 个参数,其扰动的期望能量会被缩小为 M/D,从而降低整体均方误差(MSE)。

2. 稳健的保序校准

  • 训练结束后,每个客户端为其本地验证集计算非符合度得分(例如绝对残差)。
  • 将得分嵌入低维的“特征向量”(例如使用简单核函数或 PCA)。
  • 来自不同客户端的向量之间的成对距离用于分配 恶意程度得分:异常值会得到更高的得分。
  • 服务器在估计保序分位数(即产生期望覆盖率的阈值)之前,下调权重过滤 具有高恶意程度的得分。

3. 预测阶段

  • 最终的全局模型产生点预测。
  • 将校准后的分位数加减,以形成 预测区间,该区间在构造上能够在拜占庭参与者存在的情况下,以目标概率(例如 95 %)覆盖真实结果。

结果与发现

数据集拜占庭比例覆盖率(目标 95 %)平均区间宽度
Synthetic (linear)0 %95.2 %0.84
Synthetic (linear)30 %94.8 %0.87
UCI Superconductivity0 %95.1 %1.12
UCI Superconductivity30 %94.9 %1.15
  • 覆盖率保持在目标范围,在所有拜占庭水平下均得到验证,确认了理论保证。
  • 区间膨胀(拜占庭攻击的常见症状)被限制在 <5 % 的增长,而在相同攻击强度下,普通 FCP 的区间会膨胀 >30 %。
  • 通信节省:当 M/D = 0.2 时,总传输字节量下降 80 %,且预测性能不受影响。
  • 对攻击策略的鲁棒性:作者同时测试了随机噪声注入和有针对性的梯度投毒,两者均表明 PRISM‑FCP 始终优于基线。

实际意义

  • Edge‑AI 与 IoT 部署: 带宽受限的设备仍然可以参与联邦学习,并获得可信的不确定性估计——这对安全关键型应用(例如预测性维护、医学诊断)至关重要。
  • Model‑as‑a‑service 平台: 服务提供商可以向下游用户提供校准的置信区间,同时避免系统暴露给可能夸大风险指标的恶意客户端。
  • 监管合规: 在要求校准不确定性的领域(例如金融、医疗),PRISM‑FCP 提供了一种可证明稳健的方式,以在分布式环境中满足覆盖率要求。
  • 简化工程: 部分共享方案可与现有的联邦优化流水线(FedAvg、FedProx)集成,仅增加一个轻量级的校准步骤,使得机器学习工程师能够轻松采用。

限制与未来工作

  • 随机部分选择 可能会丢弃有信息的参数,导致在高度非凸模型(例如深度网络)上的收敛变慢。自适应选择策略可以缓解此问题。
  • 恶意评分依赖于假设各客户端数据分布大致均匀的距离度量;数据异构(非 IID)可能会模糊诚实异常值与攻击之间的区别。
  • 实验主要针对回归任务;将 PRISM‑FCP 拓展到分类(例如置信预测集)仍是一个未解方向。
  • 自适应拜占庭攻击者 随时间学习部分共享模式的形式化分析尚未涉及;未来工作可以探索博弈论防御。

底线:PRISM‑FCP 提供了一种实用、通信高效的方案,在联邦环境中实现可靠的不确定性量化——即使有部分参与者试图破坏系统。对于构建分布式 AI 服务的开发者而言,它是稳健性工具箱中一个有吸引力的补充。

作者

  • Ehsan Lari
  • Reza Arablouei
  • Stefan Werner

论文信息

  • arXiv ID: 2602.18396v1
  • 分类: cs.LG, eess.SP, math.PR, stat.AP, stat.ML
  • 发布时间: 2026年2月20日
  • PDF: 下载 PDF
0 浏览
Back to Blog

相关文章

阅读更多 »