[Paper] 联邦式风格感知Transformer表示聚合

Source: arXiv - 2511.18841v1

概览

个性化联邦学习（Personalized Federated Learning，PFL）旨在在保护用户隐私的前提下，仍能提供针对每个客户端独特数据的预测。全新的 FedSTAR 框架通过将“风格”（客户端特有的细节）与“内容”（共享知识）分离，并使用基于 Transformer 的注意力模块更智能地合并客户端贡献，来解决 PFL 中的三个顽固难题——数据域异构、客户端参与偏斜以及紧张的通信预算。

关键贡献

• 风格感知的表征解耦：引入一种轻量级机制，将每个客户端的嵌入拆分为 风格向量（个人特征）和 内容表征（共享语义）。
• Transformer 驱动的原型聚合：在服务器端使用类别原型和自注意力层对客户端更新进行自适应加权，既保留有用的多样性，又抑制噪声或异常贡献。
• 通信高效设计：交换紧凑的原型和风格向量，而非完整模型权重，将上行/下行流量降低一个数量级。
• 在异构基准上的实证验证：在视觉和语言联邦数据集上，即使在极端客户端不平衡的情况下，也表现出一致的个性化准确率和鲁棒性提升。

方法论

1. 本地编码 – 每个客户端运行一个浅层编码器，对每个输入样本产生两个输出：
   • 内容嵌入（捕获任务相关特征）
   • 风格向量（捕获客户端特定的分布线索）。
2. 原型构建 – 对每个类别，客户端对其内容嵌入求平均，得到 类别原型。
3. 上传包 – 客户端不发送完整模型，而是上传：
   • 类别原型集合（每类一个）
   • 风格向量（固定大小的摘要）。
4. 服务器端注意力 – 中央服务器将所有收到的原型堆叠后输入到 Transformer 编码器。自注意力得分充当自适应权重，强调那些原型与全局目标契合度高的客户端，同时降低异常值的权重。
5. 全局更新与重新分发 – 服务器将加权后的原型重新组合为更新后的全局内容表征，并将更新后的全局内容模型以及聚合的风格信息广播回客户端。客户端随后将全局内容与本地风格融合，生成用于推理的个性化模型。

整个流水线是端到端可微的，使得风格/内容的划分能够与下游任务共同学习。

结果与发现

• 通信量降低：每轮平均上行大小从约 2 MB（完整模型）降至约 150 KB（原型 + 风格）。
• 对客户端掉线的鲁棒性：当 40 % 客户端在训练中途失联时，FedSTAR 的准确率下降 <2 %，而普通 FedAvg 则下降 >7 %。
• 消融实验：去除 Transformer 注意力或风格解耦任一组件都会导致约 3–5 % 的绝对准确率下降，验证了两者的必要性。

实际意义

• 边缘 AI 部署 – 智能手机、可穿戴设备或物联网传感器等终端现在可以参与联邦训练，而无需传输兆字节级的模型权重，从而节省带宽和电池寿命。
• 领域特定个性化 – 手写识别、个性化推荐或医学影像等场景可受益于捕获用户级偏差的风格向量，同时仍利用强大的全局知识库。
• 对参与偏差的鲁棒性 – 在真实联邦环境中少数活跃用户主导数据时，FedSTAR 的注意力机制会自动削弱其过度影响，使模型在整个客户端群体上更公平。
• 即插即用升级 – 现有的 FL 流程只需将聚合步骤替换为提供的 Transformer 模块并加入轻量级原型编码器，即可采用 FedSTAR，无需对客户端训练循环做重大改动。

局限性与未来工作

• 原型粒度 – 当前方法对每类仅聚合一个原型；更细粒度的子类或多模态原型可能捕获更丰富的类内变化。
• 风格向量可解释性 – 虽然风格向量紧凑，但其语义含义仍不透明；未来工作可探索解耦正则化以提升可解释性。
• 对成千上万类别的可扩展性 – 通信成本随类别数线性增长；层次化原型方案或类别抽样策略是潜在的解决方案。
• 安全性考量 – 交换原型仍可能泄露客户端数据的细微信息；将差分隐私或安全聚合集成进来是一个待探索的方向。

作者

• Mincheol Jeon
• Euinam Huh

论文信息

• arXiv ID: 2511.18841v1
• 分类: cs.LG, cs.AI, cs.DC
• 发表时间: 2025 年 11 月 24 日
• PDF: Download PDF