[Paper] 关于 HPC 系统中能效分析的挑战：评估 Synthetic Benchmarks 与 Gromacs

Source: arXiv - 2512.03697v1

概览

本文探讨了在现代 HPC 系统上测量 能效 为何并非易事。通过在两套大型集群（Fritz 与 Alex）上将合成基准测试与真实科学应用（GROMACS）进行对比，作者揭示了在 Intel Ice Lake/Sapphire Rapids CPU 与 Nvidia A40/A100 GPU 上收集和解释功耗数据时隐藏的陷阱。其发现对任何希望以可重复方式基准“绿色”性能的人都是一次警醒。

主要贡献

• 系统性比较 合成基准套件与生产级分子动力学代码（GROMACS）在异构 CPU‑GPU 节点上的表现。
• 深入分析 流行分析工具（CPU 使用 LIKWID，GPU 使用 Nvidia Nsight/PowerAPI）引入的测量伪影。
• 识别常见误差来源，如采样间隔不匹配、空闲功率基线漂移以及 MPI 级同步效应。
• 实用检查清单，提供在当前代 HPC 硬件上进行可靠能效实验的最佳实践建议。
• 开源数据集（原始功率轨迹、基准配置）已发布，以便复现。

方法论

1. 硬件平台 – 实验在两套集群上进行：

   • Fritz: 双路 Intel Ice Lake CPU + Nvidia A40 GPU。
   • Alex: 双路 Intel Sapphire Rapids CPU + Nvidia A100 GPU。

2. 软件栈 –

   • MPI（OpenMPI）用于跨完整 CPU 插槽的并行执行。
   • GROMACS 2023（GPU 加速）作为真实工作负载。
   • 一组合成基准（STREAM、LINPACK 以及自定义计算密集型内核）用于代表“理想”工作负载。

3. 仪器化 –

   • LIKWID（通过 RAPL 的每核功率计数器）用于 CPU 能耗。
   • Nvidia 分析工具（NVML、Nsight Systems）用于 GPU 功率。
   • 采样频率为 1 kHz，并按 MPI 进程聚合。

4. 实验设计 –

   • 在多种问题规模和 MPI 进程数（完整插槽、半插槽、超线程）下运行每个基准。
   • 记录壁钟时间、总能耗以及派生指标（性能‑每‑瓦特、每步焦耳数）。
   • 进行“基线”空闲节点运行，以量化静态功耗。

5. 分析流程 –

   • 对齐 CPU 与 GPU 日志的时间戳。
   • 应用统计异常值过滤（±2σ）。
   • 比较合成基准与 GROMACS 的能耗曲线并计算效率比率。

结果与发现

• 合成基准显著高估效率，因为它们让 CPU 与 GPU 持续满负荷运行，而 GROMACS 存在不规则的计算/通信阶段。
• 功率采样粒度至关重要：1 kHz 能捕捉 GPU 功率尖峰，而 10 Hz 完全漏掉，导致能量总计误差最高可达 10 %。
• MPI barrier 的放置会增加空闲功率；去除不必要的同步后，测得能耗降低约 3 %，而运行时间不受影响。
• 静态功率漂移（热节流、后台 OS 活动）在长时间运行中占总能耗的 8 % 左右，凸显基线校正的必要性。

实际意义

• 基准选择 – 仅依赖合成套件进行“绿色”声明可能误导。开发者应辅以领域特定工作负载（如 GROMACS、LAMMPS），以逼真模拟 CPU‑GPU 交互模式。
• 工具链认知 – 分析器必须配置为高频采样并同步时间戳；否则，基于其得出的能耗预算可能出现显著偏差。
• 代码优化 – 减少不必要的 MPI barrier 并实现通信与计算的重叠，可实现可观的能耗节省，对多数 MPI 程序而言是一项低成本收益。
• 容量规划 – 系统管理员可利用本文提供的基线校正方法，更准确地预测混合 CPU‑GPU 工作负载的功率上限和冷却需求。
• 厂商对比 – A40 与 A100 的并列结果为开发者提供了具体数据，以在能耗成本为主要考量时论证硬件升级的合理性。

局限性与未来工作

• 硬件范围 – 本研究仅涉及 Intel Ice Lake/Sapphire Rapids CPU 与 Nvidia A40/A100 GPU；在 AMD EPYC 或更新的 GPU 架构上可能会有不同结果。
• 单一应用 – GROMACS 代表分子动力学，但并不涵盖所有 HPC 领域（如 AI 训练、图分析）。将研究扩展至其他代码将强化结论。
• 静态功率建模 – 基线校正假设线性漂移，在极端热条件下可能不成立；需要更复杂的热‑功率模型。
• 未来方向 – 作者计划 (1) 将功耗感知调度策略集成到 MPI 运行时，(2) 探索测量伪影的自动检测，(3) 发布可移植的“能效测试工具”，可嵌入 HPC 软件项目的 CI 流水线。

作者

• Rafael Ravedutti Lucio Machado
• Jan Eitzinger
• Georg Hager
• Gerhard Wellein

论文信息

• arXiv ID: 2512.03697v1
• 分类: cs.DC, cs.MS
• 发布日期: 2025 年 12 月 3 日
• PDF: Download PDF