[Paper] JSAM：隐私拖延容错联合客户端选择与激励机制设计在差分隐私联邦学习中

Source: arXiv - 2602.21844v1

请提供您希望翻译的具体文本内容，我将按照要求将其翻译成简体中文并保留原有的格式。

概述

联邦学习（FL）允许众多设备在不暴露原始数据的情况下训练共享模型，但为了保护用户而加入差分隐私（DP）会产生一种隐藏的“隐私成本”，可能会阻碍参与。新论文提出了 JSAM ——一种联合客户端选择与激励机制，能够智能地在隐私补偿与训练效果之间取得平衡，同时保持在服务器预算范围内。

关键贡献

• 联合优化框架：将一个 Bayesian‑optimal 问题形式化，同时决定 谁 被抽样以及 为每个客户端的隐私损失支付多少。
• 降维：表明原始的 2N‑维问题（选择 + 对 N 个客户端的补偿）可以压缩为一个可处理的三维问题，从而即使在大规模 FL 人群中也能实现快速计算。
• 隐私感知选择策略：证明最优策略 排除 高度隐私敏感的 “落后者”，并优先选择容忍度高的客户端，这与传统的无偏抽样相反。
• 反直觉成本洞察：展示最不敏感隐私的客户端可能实际获得最高的总补偿，因为他们被选中的频率最高。
• 实证验证：在 MNIST 和 CIFAR‑10 上的实验显示，相比无偏抽样，测试准确率提升最高可达 15 %，且在异构数据分布下的总激励支出相当或更低。

Source: …

方法论

1. 建模隐私成本：每个客户端报告一个隐私敏感度参数（他们需要多少DP噪声）。服务器将其转换为每次参与的货币成本。
2. 贝叶斯优化：假设客户端敏感度具有先验分布，服务器求解一个贝叶斯最优控制问题，在总预算约束下最大化期望模型效用（准确率）。
3. 解析化简：通过利用DP噪声的结构和期望效用的线性性，作者推导出闭式条件，将搜索空间简化为三个变量：整体选择概率、阈值隐私水平以及预算分配因子。
4. 算法实现：对简化后的问题使用轻量级迭代方案（本质上是投影梯度下降）求解，可在普通服务器上几秒钟内完成。
5. 评估设置：在模拟的联邦学习环境中使用100个客户端，变化数据异质性（IID 与非IID），以及不同的DP预算（ε值）。基线包括均匀随机选择和忽视隐私异质性的现有激励机制。

结果与发现

• 更高的准确率 来源于将训练聚焦在数据既具信息量又噪声较低（低 DP 噪声）的客户端上。
• 预算效率 得以保持，因为服务器避免向隐私落后的客户端支付高额补偿。
• 对异构性的鲁棒性：即使数据分布高度倾斜，JSAM 的自适应阈值仍能使性能提升保持稳定。

实际意义

• 针对联邦学习平台运营商：JSAM 提供即插即用的模块，可集成到现有的 FL 编排框架（例如 TensorFlow Federated、PySyft），根据报告的隐私偏好自动调整客户端抽样和支付策略。
• 成本效益激励：企业可以分配固定的激励预算，同时鼓励最有价值的设备参与，减少对要求高额隐私补偿的客户端的资源浪费。
• 合规对齐：通过明确量化隐私损失并相应补偿，JSAM 有助于满足新兴的数据保护法规（如 GDPR、CCPA），这些法规要求对个人数据风险进行透明处理。
• 边缘 AI 部署：在电池和带宽稀缺的物联网或移动场景中，选择更少但效用更高的客户端可以缩短训练轮次，节省能源和网络使用。
• 开源潜力：三维模型足够轻量，可在边缘服务器上运行，为社区驱动的库打开了大门，推动隐私感知激励设计的民主化。

限制与未来工作

• 假设诚实报告：JSAM 假设客户端如实披露其隐私敏感度；战略性误报可能破坏最优性。
• 静态敏感度模型：当前框架将隐私偏好视为每个客户端固定不变；实际偏好可能随上下文（例如位置、时间）而变化。
• 可扩展至数百万：虽然简化后的问题求解高效，本文评估仅到几百个客户端；扩展到大规模设备群可能需要层次化或联邦激励协调。
• 更广泛的 DP 机制：实验聚焦于高斯 DP；探索其他机制（如 Rényi DP）可扩大适用范围。

未来研究方向包括设计诚实机制以激励真实的隐私报告，加入动态偏好学习，以及在实际联邦学习部署中测试 JSAM，例如键盘预测或智能家居分析。

作者

• Ruichen Xu
• Ying‑Jun Angela Zhang
• Jianwei Huang

论文信息

• arXiv ID: 2602.21844v1
• 分类: cs.LG, cs.DC, cs.GT
• 发表时间: 2026年2月25日
• PDF: 下载 PDF