[Paper] 通信-计算流水线并行 Split Learning 在无线边缘网络上

发布: 1周前 (2025年11月28日 GMT+8 21:24)

7 min read

原文: arXiv

Source: arXiv - 2511.23167v1

概览

本文提出了 通信‑计算流水线并行拆分学习 (C²P²SL)，一种将拆分学习与流水线并行相结合的新框架，用于加速无线边缘网络上的分布式模型训练。通过让上行/下行数据传输与本地和服务器端计算重叠，C²P²SL 大幅缩短整体训练时间，同时仍然保持拆分学习的隐私保障。

支持流水线的拆分学习： 在经典拆分学习的基础上，将每个用户设备 (UE) 与基站 (BS) 的通信和计算步骤视为流水线的阶段，使得微批次能够并行流动。
任务拆分与资源分配的联合优化： 构建混合整数问题，决定神经网络的切割位置（哪一层保留在 UE 上）以及如何为每个 UE 分配无线资源（带宽、功率），在时延和异构性之间取得平衡。
交替优化求解方案： 提出一种高效算法，交替求解切层选择子问题和无线资源分配子问题，使该方法在实时边缘部署中具备实用性。
大量实验评估： 在多种信道条件和 UE 能力下实现 训练总时长降低最高达 38 %，且对模型收敛精度的影响可以忽略不计。

模型划分： 将深度模型在切层处拆分；前半部分在每个 UE 上运行，剩余部分在 BS 上运行。
微批次与流水线： 将每个训练批次划分为若干微批次。当 UE 1 正在发送微批次 1 的激活时，UE 2 已经可以开始计算其微批次 2 的前向传播，BS 也可以开始处理已收到的微批次 1 的激活。这形成了类似装配线的 通信‑计算流水线。
系统模型： 作者对上行/下行传输时延（带宽、功率、信道增益的函数）以及本地/远程计算时延（每样本 CPU 周期数和设备速度的函数）进行建模。
优化问题：
- 变量： 每个 UE 的切层索引、带宽分配、发射功率。
- 目标： 最小化整个 epoch 的训练时长（流水线的完工时间）。
- 约束： 时延预算、功率上限，以及所有微批次必须在一个 epoch 内完成。
求解思路：
- 交替优化： 固定切层 → 求解凸资源分配子问题；再固定资源 → 通过边际时延降低引导的离散搜索更新切层。
- 收敛性： 交替步骤在少数迭代内即可收敛到局部最优解。

场景	基线（顺序 SL）	C²P²SL（本文）	训练时间缩减
理想信道，均质 UE	100 s/epoch	62 s/epoch	38 %
低 SNR，CPU 速度异构	135 s/epoch	84 s/epoch	38 %
不同批量大小（微批次数）	–	最优微批数 ≈ 4–6	在流水线填充与开销之间取得平衡
模型精度（如 CIFAR‑10）	92.1 %	91.9 %	<0.3 % 损失

边缘 AI 服务： 移动 AR、物联网分析以及类联邦学习场景现在可以在不牺牲时延的前提下训练更复杂的模型，得益于流水线机制。
网络感知 AI 编排： 联合优化框架可集成到 5G/6G 无线资源调度器中，实现 AI 感知切片，即网络根据训练工作负载动态分配频谱。
开发者工具链： 论文中的算法足够轻量，可包装成库（如 PyTorch 扩展），自动决定切层并通过标准 API（如 Open RAN O‑RAN 接口）配置无线参数。
能耗节省： 通过缩短整体训练时间，UE 在高功率传输/计算状态下的持续时间减少，延长可穿戴设备和传感节点的电池寿命。

结论： C²P²SL 表明，仅需对训练工作流进行适度改造——将必然的“先说话后思考”模式转变为真正的流水线——即可为边缘 AI 带来可观的加速，同时不牺牲模型质量。对于在网络边缘构建隐私保护、计算密集型服务的开发者而言，该方法提供了一条利用现有无线基础设施提升性能的实用路线图。