[论文] 通过 Hybrid Split 与 Federated Learning 优化加速无线分布式学习

Source: arXiv

摘要

联邦学习（FL）和拆分学习（SL）是无线网络中两种有效的分布式学习范式，能够在移动设备之间协作训练模型而无需共享原始数据。FL 支持低延迟的并行训练，但可能收敛到精度较低的模型；相反，SL 通过顺序训练实现更高的精度，却会导致延迟增加。为兼顾两者优势，混合拆分与联邦学习（HSFL）允许部分设备采用 FL 模式，其他设备采用 SL 模式。本文旨在通过解决以下三个关键问题来加速 HSFL：

1. 学习模式选择如何影响整体学习性能？
2. 它与批量大小之间的相互作用如何？
3. 如何将这些超参数与通信和计算资源共同优化，以降低整体学习延迟？

我们首先分析收敛性，揭示学习模式与批量大小之间的相互关系。随后，构建延迟最小化问题，并提出两阶段求解方案：对松弛问题使用块坐标下降法获得局部最优解，再通过取整算法恢复整数批量大小，达到近似最优性能。实验结果表明，与现有方法相比，我们的方法显著加快了达到目标精度的收敛速度。

主题

• 机器学习 (cs.LG)
• 分布式、并行与集群计算 (cs.DC)

引用

arXiv:2511.19851

DOI

https://doi.org/10.48550/arXiv.2511.19851

提交历史

• v1, Tue, 25 Nov 2025 02:29:22 UTC (1,487 KB)