[Paper] SIGMA：AI赋能的早期硬件训练堆栈

Source: arXiv - 2512.13488v1

概述

SIGMA 是一个开源训练栈，使在“早期”AI 加速器——即新出现、尚未成熟的硬件——上进行大规模模型训练变得可靠、稳定且具成本效益。通过将专为此目的构建的系统（Lucia Training Platform，LTP）与高级框架（Lucia Training Framework，LTF）相结合，作者展示了可以在 2,048 块最前沿芯片上训练一个 2000 亿参数的 mixture‑of‑experts（MoE）模型，且实现了接近业界领先水平的效率，几乎没有停机时间。

关键贡献

• LTP（Lucia Training Platform）: 一个针对早期 AI 加速器集群调优的底层运行时和资源管理器，能够处理节点故障、作业恢复以及加速器健康监控。
• LTF（Lucia Training Framework）: 面向用户的库，抽象硬件细节的同时，为 MoE 模型提供高级并行性（数据并行、流水线并行和专家并行）。
• 可靠性突破: 实现了 94.45 % 的有效加速器利用率，并在 75 天的训练运行中仅出现一次稳定性事件。
• 性能提升: 在 200 B MoE 模型上达到了 21.08 % 的 MFU（模型 FLOPs 利用率），与成熟的加速器堆栈竞争。
• 开源发布: 完整代码库、文档和部署脚本已公开，支持可复现性和社区扩展。

方法论

1. 故障感知调度： LTP 持续探测每个加速器的健康状态（温度、错误计数、功率尖峰）。当节点出现早期故障迹象时，调度器会主动将工作负载迁移到健康设备上，从而降低硬崩溃的风险。
2. 数值护栏： LTF 注入运行时检查（例如溢出检测、梯度裁剪），并在检测到不稳定时自动切换到更高精度的内核，防止静默发散。
3. 混合并行优化器： 该堆栈结合数据并行、流水线并行和 MoE 专家路由。自动调优器实时评估通信‑计算比，并重新平衡分片分配，以隐藏早期硬件噪声互连带来的不规则延迟。
4. 通过检查点恢复： LTP 并非对整个模型进行检查点，而是仅对 差分 状态（优化器动量、专家路由表）在细粒度间隔进行检查点，从而在节点故障后能够快速恢复作业。

所有组件均使用 C++/CUDA 实现底层路径，使用 Python（兼容 PyTorch）实现高层 API，使得该堆栈能够轻松嵌入现有训练流水线。

结果与发现

200 B MoE 模型（SIGMA‑MOE）在 2,048 台早期加速器上用时 75 天收敛，其准确率与在更成熟硬件上训练的类似模型相当，但由于利用率更高、故障开销更低，整体计算成本约降低 30 %。

Practical Implications

• Cost‑effective scaling: 公司现在可以考虑更新、更便宜的 AI 芯片，而不牺牲可靠性，这为以传统资本支出的很小一部分构建更大规模的集群打开了大门。
• Faster time‑to‑research: 主动的故障处理和快速的检查点恢复减少了通常会阻塞长时间实验的“空闲时间”，加速了迭代周期。
• Portability: 由于 LTF 基于 PyTorch，现有代码库可以在最小改动下迁移，使开发者能够在异构硬件上进行实验，而无需重写模型。
• Edge‑to‑cloud continuity: 早期加速器通常首先以边缘或专用 ASIC 形态出现；SIGMA 的抽象使得在边缘设备和大规模训练集群之间迁移工作负载更加容易。
• Community innovation: 开源发布邀请硬件厂商接入自己的遥测 API，可能为下一代 AI 芯片打造一个通用的可靠性层。

限制与未来工作

• 硬件特定性: 虽然设计是模块化的，但当前实现与微软的 Lucia 加速器系列紧密耦合；适配完全不同的架构可能需要非平凡的工程工作。
• 可扩展性上限: 实验限制在 2,048 个加速器；作者指出超过此规模后，集中式调度器可能成为瓶颈，建议转向层次化调度模型。
• 数值精度权衡: 动态精度切换会带来少量开销，可能不适用于需要严格可复现性的任务。
• 未来方向: 团队计划 (1) 去中心化调度器，(2) 在异构设备上集成自动混合精度训练，(3) 将框架扩展以支持具有更不规则通信模式的强化学习类工作负载。

作者

• Lei Qu
• Lianhai Ren
• Peng Cheng
• Rui Gao
• Ruizhe Wang
• Tianyu Chen
• Xiao Liu
• Xingjian Zhang
• Yeyun Gong
• Yifan Xiong
• Yucheng Ding
• Yuting Jiang
• Zhenghao Lin
• Zhongxin Guo
• Ziyue Yang

论文信息

• arXiv ID: 2512.13488v1
• 类别: cs.DC, cs.CL
• 出版日期: 2025年12月15日
• PDF: 下载 PDF