Rashomon Sets 与联邦学习中的模型多样性

Source: arXiv - 2602.09520v1

请提供您希望翻译的具体文本内容，我将按照要求保留来源链接并进行简体中文翻译。

概述

论文《Rashomon Sets and Model Multiplicity in Federated Learning》将 Rashomon 集——即一族近乎最优且行为可能截然不同的模型——的概念扩展到联邦学习（FL）场景。通过形式化地论证如何在分布式客户端之间考虑多个优秀模型，作者为实现更透明、公平和鲁棒的 FL 部署铺平了道路，因为单一的“最佳”模型可能隐藏偏见或不稳定性。

关键贡献

• 正式的 FL‑特定 Rashomon 定义：
  1. 全局 Rashomon 集合 – 基于从所有客户端聚合的统计数据。
  2. t‑一致性 Rashomon 集合 – 在至少 t 分数的客户端中成立的局部 Rashomon 集合的交集。
  3. 个体 Rashomon 集合 – 每个客户端自己的近最优模型族。
• 隐私保护的多样性度量：展示如何在不暴露原始客户端数据的情况下估计经典 Rashomon 集合的规模和多样性度量。
• 多样性感知的 FL 流水线：将新度量集成到训练循环中，使服务器能够呈现多个候选模型，而不是单一的全局最优模型。
• 实证验证：在标准 FL 基准（如 FEMNIST、Shakespeare、CIFAR‑10）上的实验表明，这三种 Rashomon 概念揭示了准确性、公平性和客户端特定性能之间的不同权衡。

方法论

1. 扩展 Rashomon 定义 – 作者从经典 Rashomon 集（所有经验风险在最优值的容差 ε 之内的模型）出发，将联邦学习中的风险重新解释为客户端损失的加权和。
2. 三种视角 –
   • 全局：使用服务器对数据分布的视角（通过安全聚合）计算聚合损失。
   • t‑一致：对每个客户端计算其本地 Rashomon 集；然后取满足至少 t·N 个客户端的集合交集，其中 N 为参与者数量。
   • 个体：每个客户端在本地保留自己的 Rashomon 集。
3. 在隐私约束下估计多样性 – 论文利用差分隐私友好的统计方法（例如模型预测的噪声直方图、安全多方计算的损失上界）来近似集合大小和边界多样性，而无需共享原始样本。
4. 流水线集成 – 在每一轮联邦学习中，服务器收集多样性度量，决定是继续使用单一模型还是广播一个 模型组合，并可选地让客户端选择最符合其本地验证集的模型。

结果与发现

• 模型多样性显著：即使所有模型都在全局最优解的 1 % 以内，它们的决策边界仍有足够差异，导致跨客户端出现可测量的公平性差距。
• t‑agreement 集合捕获共识：提升 t 会缩小集合规模，突出对大多数客户端表现良好的模型，同时剔除可能对小众客户端数据过拟合的异常模型。
• 个体 Rashomon 集合提升本地效用：允许每个客户端从其专属集合中选择模型，可在不影响全局模型性能的前提下，将本地准确率提升最高可达 2 %。

实际意义

• 更公平的 FL 服务：公司可以公开 模型组合 而不是单一模型，让边缘设备或区域服务器挑选最符合当地人口统计或使用模式的变体。
• 对分布漂移的鲁棒性：通过监控 Rashomon 集合规模，工程师可以检测联邦数据何时过于异质，从而促使重新平衡客户端参与或自适应加权。
• 隐私保护审计：多样性度量提供了一条新的审计轨迹（例如，“存在多少个同等优秀的模型？”），可从加密聚合中计算，满足监管要求而不泄露原始数据。
• 工具集成：所提出的流水线可以包装在流行的 FL 框架（TensorFlow Federated、PySyft、Flower）之上，只需极少的代码改动——主要是在客户端添加安全聚合步骤以获取损失界限以及选择例程。

限制与未来工作

• 集合估计的可扩展性：通过安全聚合近似 Rashomon 集合大小会产生额外的通信开销，对于非常大的客户端群体可能难以承受。
• ε 和 t 的选择：容差 ε（与最优的接近程度）和一致性阈值 t 是目前需要手动调节的超参数；自动化选择策略仍是一个未解决的问题。
• 基准多样性受限：实验主要集中在图像和文本分类；将分析扩展到推荐系统、时间序列预测或强化学习代理仍是未来的工作。
• 动态客户端参与：当前理论假设每轮训练的客户端集合是固定的；在保持 Rashomon 集合保证的前提下处理客户端流失和间歇性连接是后续研究的方向。

作者

• Xenia Heilmann
• Luca Corbucci
• Mattia Cerrato

论文信息

• arXiv ID: 2602.09520v1
• 分类: cs.LG, cs.DC
• 出版日期: 2026年2月10日
• PDF: 下载 PDF