[Paper] 关于联邦 GNN 中全局聚合的几何一致性

Source: arXiv - 2602.15510v1

概述

联邦学习让许多设备在不将原始数据发送到中心服务器的情况下训练共享模型。当模型是图神经网络（GNN）时，每个客户端在自己的图上工作，而这些图的结构和信息传递动态可能差异很大。本文揭示了一种细微的“几何”失效：标准的联邦平均盲目合并这些异构 GNN 更新时，全局模型看似数值上稳定（低损失、不错的准确率），但其内部的信息传递行为变得不一致，进而损害下游的关系任务。作者提出 GGRS (Global Geometric Reference Structure)，一种服务器端调节器，在聚合前检查客户端更新的几何兼容性，保持图转换的方向一致性，而无需查看私有图数据。

关键贡献

• 识别一种新的失效模式 在跨域联邦 GNN 中：聚合可能破坏已学习的消息传递算子的关系几何，即使传统指标仍然健康。
• 形式化“几何可容性” 对 GNN 参数，将向量空间表示与底层传播方向、强度和敏感性关联。
• 引入 GGRS，一个轻量级服务器端框架，(1) 评估每个客户端更新的几何兼容性，(2) 将更新重新缩放或投影到共享参考子空间，(3) 保留受控量的多样性以避免过度正则化。
• 在异构 GNN 原生基准和 Amazon 共同购买图上进行实证，表明 GGRS 在训练轮次中保持一致的全局消息传递，提升下游关系指标（如链接预测、节点分类），且不牺牲隐私。
• 展示标准联邦学习指标在图中心任务上可能产生误导，从而推动几何感知的监控工具用于联邦图学习。

方法论

1. 问题设置

   • 客户端：每个客户端持有私有图 (G_i)，并使用其自己的邻接矩阵和特征矩阵训练本地 GNN (\theta_i)。
   • 服务器：在若干本地 epoch 后接收模型更新 (\Delta\theta_i)，并对其进行聚合（通常使用 FedAvg）。

2. GNN 参数的几何视角

   • GNN 层可以视为一种线性算子，根据邻居聚合来转换节点嵌入。
   • 该算子的方向决定信息在边上的传播方式，而幅度控制对邻居规模的敏感度。
   • 当客户端的图结构不同（例如稠密 vs. 稀疏，同质 vs. 异质）时，它们学习到的算子会在高维参数空间中占据不同的子空间。

3. 几何失效诊断

   • 作者计算客户端更新与参考结构（例如前一全局模型的算子）之间的几何相似度分数。
   • 低相似度表明客户端的更新会把全局变换旋转到不兼容的方向，可能导致信息传递失效。

4. GGRS 框架

   • 参考构建：服务器维护一个全局几何参考 (R_t)（例如前一轮可接受更新的平均值）。
   • 可接受性测试：对于每个进入的 (\Delta\theta_i)，GGRS 使用算子空间中的余弦相似度来衡量其与 (R_t) 的对齐程度。
   • 调节：
     • 如果 相似度 > 阈值 → 接受更新且不做修改。
     • 如果 相似度 < 阈值 → 将 (\Delta\theta_i) 投影到 (R_t) 的张成空间（或可接受子空间的学习基）上，并可选地加入少量随机成分以保持多样性。
   • 聚合：对调节后的更新进行常规平均，得到下一个全局模型 (\theta_{t+1})。

5. 隐私保护

   • GGRS 只需要参数向量；它从不访问原始节点特征、边列表或任何客户端侧的图拓扑，从而保持联邦学习的隐私保证完整。

结果与发现

• 几何一致性：通过连续全局消息传递算子之间的平均余弦相似度进行衡量，GGRS 在各轮保持 >0.9 的稳定相似度，而 FedAvg 在几轮后会下降到 <0.6。
• 训练稳定性：损失曲线相近，但 GGRS 的验证准确率方差更低，表明模型不易出现“静默退化”。
• 通信开销：GGRS 每轮仅增加 <2 % 的额外字节（一个小的相似度向量），服务器端计算开销可忽略不计。
• 消融实验：去除投影步骤（即仅使用阈值过滤）只能带来有限提升，进一步确认 几何投影 是性能提升的关键因素。

实际意义

• 更可靠的联邦图服务：在边缘设备上部署推荐系统、欺诈检测或社交网络分析的公司，现在可以确信全局 GNN 能保持一致的关系推理，即使每个设备看到的子图差异极大。
• 安全关键应用：在智能电网或自动驾驶车队等领域，不一致的消息传递可能导致对连通性或风险传播的错误推断。GGRS 提供了一种轻量级的安全保障，同时不破坏隐私。
• 为联邦学习工程师提供的工具：几何相似度得分可以作为监控指标在现有的联邦学习仪表盘中展示，当客户端更新过于分散时提醒运维人员。
• 兼容性：GGRS 作为任何基于 FedAvg 的联邦 GNN 流水线的即插即用服务器端插件使用；客户端无需做任何修改。
• 降低同质化需求：开发者无需强制客户端共享图统计信息或将数据预处理成统一的拓扑结构，而是可以让每个客户端在其原生图上训练，同时仍然实现全局一致的模型。

限制与未来工作

• 线性几何假设：当前的可接受性测试将 GNN 层视为线性算子；高度非线性架构（例如基于注意力的 GNN）可能需要更丰富的几何描述符。
• 阈值敏感性：选择相似度阈值需要进行小规模的验证扫描；自适应或学习得到的阈值可以使 GGRS 更加即插即用。
• 对大规模客户端池的可扩展性：实验使用了最多 50 个客户端；未来工作应在成千上万的边缘设备上评估 GGRS，此时参考结构可能变得嘈杂。
• 向异构模型架构的扩展：某些联邦场景允许客户端使用不同的 GNN 变体（例如 GCN 与 GraphSAGE）。在异构模型族之间扩展几何调节是一个未解决的挑战。

作者建议探索曲率感知度量（例如黎曼距离）并将 GGRS 与差分隐私机制结合，这些都是有前景的方向。

作者

• Chethana Prasad Kabgere
• Shylaja SS

论文信息

• arXiv ID: 2602.15510v1
• 分类: cs.LG, cs.DC, cs.NI
• 发布日期: 2026年2月17日
• PDF: 下载 PDF