[Paper] 揭示现代 MoE 模型和硬件系统中 Attention-FFN 拆分的挑战

Source: arXiv - 2602.09721v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。

概述

本文研究了 Attention‑FFN Disaggregation (AFD)——一种在硬件资源上拆分现代 Mixture‑of‑Experts (MoE) 模型的注意力和前馈网络（FFN）组件的新方法。通过将经典的 roofline 模型扩展到通信领域，作者展示了 AFD 在何种情况下能够真正超越传统的 Expert Parallelism (EP) 方法，以及何时会表现不佳。

关键贡献

• 扩展的 Roofline 分析: 引入一种通信感知的 Roofline 模型，将互连带宽、算术强度和 硬件 FLOPS 利用率 (HFU) 关联起来。
• 识别“死区”: 表明在典型集群上，增加更多 FFN 实例并不会提升 HFU，因为工作负载受限于扩展带宽，而非计算。
• 不平衡量化: 演示 AFD 的节点级扩展比 EP 更灵活的批次专家分配遭受更高的负载不平衡惩罚。
• 硬件‑模型最佳点: 确定在何种条件下（例如 Superpod 级别的互连、粗粒度专家、较低稀疏度）AFD 能够优于 EP。
• 实用指南: 为工程师提供决策框架，以根据其硬件拓扑结构和模型特性决定是否采用 AFD。

方法论

1. 建模层: 作者在经典 roofline 模型上加入了 通信 roofline，用于捕获跨节点移动专家激活的成本。
2. 合成基准: 他们在一系列集群配置上运行 MoE 工作负载（变化专家数量、稀疏度和粒度），从普通以太网到高速 InfiniBand “Superpod” 设置。
3. 跟踪指标:
   • 算术强度（每字节传输的 FLOPs），用于注意力路径与前馈网络（FFN）路径。
   • 硬件 FLOPS 利用率 (HFU) – 实际使用的峰值计算比例。
   • 不平衡惩罚 – 当部分节点提前完成而其他节点仍在处理专家时产生的额外时间。
4. 对比实验: 每个工作负载在 AFD 和 EP 两种方式下执行，保持参数总量不变，以隔离拆分策略的影响。

结果与发现

• 死区： 当 FFN 实例数量增长时，HFU 达到平台期，因为互连无法足够快地提供数据；算子活跃计算时间缩短，而延迟保持不变。
• 不平衡： AFD 的静态节点级专家分配会导致拖慢者，而 EP 能动态重新平衡批次，减少空闲时间。
• AFD 获胜的情况： 仅在互连带宽极高且模型每个专家处理相对大量数据（粗粒度、低稀疏度）的系统上。

实际影响

• 硬件采购: 计划运行大规模 MoE 模型的团队如果想利用 AFD，应优先考虑互连带宽（例如 100 Gbps+ InfiniBand）。投资更快的网卡可能比单纯增加 GPU 更能提升性能。
• 模型设计: 在针对支持 AFD 的硬件时，架构师可以有意将专家设计得更粗糙（更大的隐藏维度、更少的专家），以牺牲部分稀疏性换取更好的吞吐量。
• 调度器增强: 现有集群调度器可以加入论文中的不平衡度量，以决定是将作业分配到 AFD 优化的节点池，还是回退到 EP。
• 成本‑效益分析: 对于云服务提供商，提供“AFD‑ready”实例类型（高速互连 + 平衡的 GPU 与 CPU 比例）可以为拥有合适 MoE 工作负载的客户实现溢价定价。
• 软件栈: 框架（例如 PyTorch、TensorFlow）可以提供一个开关以启用 AFD 模式，自动根据检测到的带宽选择相应的通信原语。

限制与未来工作

• 基准范围: 实验仅聚焦于有限的 MoE 配置；超大规模模型（数千亿参数）尚未测试。
• 静态专家放置: 当前的 AFD 实现假设专家到节点的映射是固定的，这会加剧不平衡；动态放置策略可能缓解此问题。
• 能耗考量: 本研究未评估功耗效率，而功耗是大规模部署的重要因素。
• 未来方向: 作者建议探索将 AFD 的解耦与 EP 的动态批处理相结合的混合方案，并将通信 Roofline 拓展到异构集群（CPU‑GPU‑TPU 混合）。

作者

• Guowei Liu
• Hongming Li
• Yaning Guo
• Yongxi Lyu
• Mo Zhou
• Yi Liu
• Zhaogeng Li
• Yanpeng Wang

论文信息

• arXiv ID: 2602.09721v1
• 分类: cs.DC
• 发表日期: 2026年2月10日
• PDF: 下载 PDF