[Paper] 以执行为中心的 FP8 矩阵核心、异步执行与结构化稀疏性在 AMD MI300A 上的特性分析

Source: arXiv - 2602.10262v1

概述

本文深入探讨了 AMD 最新的 MI300A 加速器的性能特性，该加速器集成了 CDNA3 GPU、高带宽内存、FP8 矩阵核心、异步计算引擎 (ACE)，以及 2:4 结构化稀疏。通过运行一系列微基准测试，作者展示了这些特性在实际 HPC 与 AI 工作负载中的表现，并提供了针对如何充分利用它们的具体指导。

关键贡献

• 首次针对 FP8 矩阵核心流水线的执行中心分析，在 MI300A 上揭示占用率限制以及延迟/吞吐量的权衡。
• ACE 并发性的量化分析，展示多个计算流如何共享资源、公平性何时失效，以及如何调优启动参数以实现最佳重叠。
• 系统层面的 2:4 结构化稀疏性研究，演示上下文相关的加速（最高约 2×）以及稀疏性何时会降低性能的条件。
• 案例研究评估，包括 transformer‑style 内核、混合精度 GEMM 以及并发工作负载，将微基准测试洞察映射到端到端应用行为。
• 实用调度启发式（占用感知的启动规模、ACE 限流阈值、稀疏性启用规则），可直接嵌入编译器或运行时系统。

方法论

1. 微基准套件 – 作者构建了微小的 kernel，以隔离每个硬件特性：

   • FP8 矩阵核心 kernel，变化 tile 大小、线程块数量和数据布局。
   • ACE 测试，可启动最多 8 条独立流，并可控制依赖链。
   • 结构化稀疏 kernel，可对不同矩阵形状和密度切换 2:4 掩码的开关。

2. 仪器化 – AMD 的 ROCm 分析堆栈（rocprof、roctx）捕获了：

   • 核心占用率、波前启动延迟和内存流量指标。
   • ACE 队列深度、停顿周期以及跨流干扰。
   • 稀疏与密集执行的有效 FLOP 计数与理论峰值的对比。

3. 工作负载映射 – 然后将微基准嵌入到三个具代表性的工作负载中：

   • Transformer 注意力（以 FP8 为主，矩阵乘法密集）。
   • 混合精度 GEMM（FP16 + FP8，训练流水线中常见）。
   • 并发推理（多个独立请求共享同一 GPU）。

4. 统计分析 – 每个实验重复 30 多次以捕获方差，作者使用回归模型来描述占用率、ACE 深度和稀疏比例如何影响吞吐量和延迟。

结果与发现

实际影响

• 内核开发者 应该以 64×64 或 128×128 FP8 瓦片 为目标，并将活跃波前保持在约 10 k 以下，以保持矩阵核占用的“最佳区间”。
• 运行时系统（例如 ROCm、TensorRT、PyTorch XLA） 可以嵌入一个简单的启发式规则：如果待处理内核总数 > 4，则延迟新启动或拆分工作，以避免 ACE 公平性崩溃。
• 编译器 可以自动为自然产生 ≥ 70 % 零模式的层（例如剪枝后的 Transformer）启用 2:4 结构化稀疏，并仅在形状与硬件掩码对齐时插入填充。
• 多租户 GPU 节点的调度器设计者 可以使用论文中的占用感知模型来预测尾部延迟并更确定性地分配资源，这对大规模推理工作负载的服务至关重要。
• 混合精度训练流水线 可以用 FP8 矩阵核调用替代 FP16 GEMM，提升最高 2 倍的吞吐量且不牺牲模型精度（作者在 BERT‑base 微调实验中验证了这一点）。

总体而言，这些发现为开发者提供了一份关于 何时 以及 如何 启用 MI300A 各项高级特性的具体清单，使原本“黑箱”加速器变成可调节的性能旋钮。

限制与未来工作

• 本研究聚焦于 微基准测试和三个特定工作负载；更广泛的 AI 模型（例如扩散模型、图神经网络）可能呈现不同的稀疏模式或内存占用。
• 功耗和热约束 未进行测量；持续高占用可能在长时间运行时触发降频。
• 作者指出 未来的 ROCm 发行版可能会提供更细粒度的 ACE 控制，这可能会改变最佳并发阈值。
• 将方法扩展到 多节点 MI300A 集群（NVLink/Infinity Fabric 互连） 并评估通信重叠是自然的下一步。

结论：本文揭示了 MI300A 最新硬件技巧，并为开发者提供了可操作的规则，以在下一代 HPC 和 AI 工作负载中挤出最佳性能。

作者

• Aaron Jarmusch
• Connor Vitz
• Sunita Chandrasekaran

论文信息

• arXiv ID: 2602.10262v1
• 分类: cs.DC, cs.AR
• 出版日期: 2026年2月10日
• PDF: 下载 PDF