[Paper] OD-MoE：按需专家加载用于无缓存边缘分布式 MoE 推理

Source: arXiv - 2512.03927v1

概述

本文提出 OD‑MoE，一种新颖的推理框架，使得混合专家（Mixture‑of‑Experts，MoE）语言模型能够在极小的边缘设备上运行，而无需为专家权重预留专用的 GPU 缓存。通过从分布式节点池中 按需 加载专家，并提前预测将需要的专家，OD‑MoE 大幅降低 GPU 内存需求，同时保持实用的推理速度。

关键贡献

• 无缓存专家加载： 消除传统的 GPU 常驻专家缓存，使得在 < 1 GB 内存的 GPU 上也能进行 MoE 推理。
• 分布式按需加载： 将专家传输和计算并行化到多个边缘节点上，确保下一个专家在需要前就已准备就绪。
• 超高精度仿真预测器： 轻量级预测器能够提前数层预测专家激活，准确率达 99.94 %，远超以往的离线卸载方案。
• 全面基准测试： 实验证明 OD‑MoE 在仅使用三分之一 GPU 内存的情况下，达到完整缓存 MoE 解码吞吐量的约 75 %，测试平台为 10 节点集群。

方法论

1. 系统架构 – OD‑MoE 将一组边缘设备视为共享内存结构。每个节点在其 CPU 内存中保存专家池的一部分。
2. 并行加载与执行 – 当 GPU 正在计算当前层的专家时，后台线程会从远程节点流式传输下一批所需专家到 GPU。专家完成前向传播后立即被驱逐，为后续专家腾出空间。
3. 仿真预测引擎 – 与其在每层等待路由决策，OD‑MoE 运行一个小型 “仿真器”，提前（例如 2‑3 层）模拟路由逻辑。该仿真器仅使用输入 token 嵌入和路由 logits（计算成本低），预测后续将被激活的专家集合。
4. 即时调度（JIT） – 预测器的输出驱动调度器，将每个即将使用的专家分配给能够最快交付的节点，平衡网络延迟与 GPU 内存压力。

整个流水线被设计为 非阻塞：GPU 计算永不因等待数据而停滞，网络流量与模型执行重叠进行。

结果与发现

关键要点

• 预测器几乎完美的准确率意味着几乎没有误预测的专家加载，从而避免了代价高昂的回滚。
• 传输与计算的重叠恢复了大部分因不缓存专家而损失的速度。
• 内存节省显著，使得 MoE 能在商品级边缘 GPU（如 Jetson Nano、RTX 3050）上部署成为可能。

实际意义

• 边缘 AI 服务： 开发者现在可以在低成本 IoT 网关上托管复杂的 LLM 风格助手，实现设备端隐私保护推理，无需云端往返。
• 可扩展推理集群： 由廉价边缘节点组成的舰队可以共同服务大型 MoE 模型，降低对高内存 GPU 服务器的依赖。
• 动态负载均衡： JIT 调度器可进一步考虑功耗预算或网络拥塞，使 OD‑MoE 适用于移动或电池供电设备。
• 简化部署流程： 无需预先挑选 “热门” 专家进行缓存，系统会在运行时自动学习激活模式，降低工程工作量。

局限性与未来工作

• 网络依赖性： 若节点间带宽或延迟出现波动，性能会下降；本文假设高速局域网环境。
• 预测器开销： 虽然轻量，但仿真预测器仍会在超低功耗 CPU 上产生可感知的计算负担。
• 10 节点以上的可扩展性： 实验仅止步于十节点，规模更大的集群可能带来调度复杂度和资源争用。
• 模型类型局限： 研究聚焦于基于 MoE 的 LLM，如何将相同的按需加载方案应用于其他稀疏结构（如 Switch Transformer）仍待探索。

未来的研究方向包括自适应带宽感知调度、与异构加速器（TPU、NPU）的集成，以及将预测器扩展至处理在微调期间会演化的动态路由策略。

作者

• Liujianfu Wang
• Yuyang Du
• Yuchen Pan
• Soung Chang Liew
• Jiacheng Liu
• Kexin Chen

论文信息

• arXiv ID: 2512.03927v1
• 分类: cs.DC
• 发布日期: 2025 年 12 月 3 日
• PDF: Download PDF