[Paper] TokenPowerBench：基准测试 LLM 推理的功耗

发布: 2天前 (2025年12月3日 GMT+8 02:50)

7 min read

原文: arXiv

Source: arXiv - 2512.03024v1

概览

大型语言模型（LLM）如今每天要处理数十亿次查询，而它们的大部分能耗来自推理，而非训练。本文介绍了 TokenPowerBench，这是首个开源基准，能够让工程师在无需昂贵硬件计量仪的情况下，以焦耳/标记的精度测量和分析 LLM 推理的功耗。

声明式基准配置 – 通过简洁的 YAML/JSON 接口选择模型、提示集、批大小、量化方式和推理引擎。
统一功耗测量层 – 仅使用软件可访问的计数器（如 NVIDIA‑SMI、RAPL）捕获 GPU、节点和整机功耗，免除外部计量仪的需求。
相位对齐的指标流水线 – 将能耗核算拆分为 prefill（上下文加载）和 decode（标记生成）两个阶段，为每个请求生成“每标记焦耳”和“每 prefill 标记焦耳”。
广泛评估 – 覆盖 Llama、Falcon、Qwen、Mistral 系列，参数规模从 1 B 到 405 B，涉及多种批大小、上下文长度、并行策略和量化方案。
开源发布 – 完整的基准套件、数据收集脚本和分析 notebook 均公开，以促进可复现的能效研究。

配置 – 用户编写简短的声明式文件，指定模型检查点、提示集合（包括长度分布）、批大小以及推理后端（如 HuggingFace Transformers、vLLM、TensorRT‑LLM）。
仪表化 – 运行期间，TokenPowerBench 以可配置的间隔（默认 10 ms）轮询功率读取 API（GPU 使用 NVIDIA‑SMI，CPU 使用 Intel‑RAPL，整机使用 OS 级计数器）。
相位标记 – 基准在推理循环中插入轻量钩子，标记每个请求的 prefill 与 decode 阶段的开始/结束。
能量归属 – 将收集到的功率样本随时间积分后，按活跃相位比例分配，得到每标记的能耗数值。
分析 – 后处理脚本聚合多次运行结果，按标记数归一化，并可视化批大小、上下文长度、量化（如 INT8、FP16）和并行方式（张量并行 vs 流水线并行）对能效的影响。

整个流水线可在单节点或多节点集群上运行，且仅依赖标准系统接口，能够直接嵌入现有 CI/CD 流程，实现持续的能效监控。

模型（参数）	批大小	上下文长度	量化	每标记焦耳（解码）
Llama‑2‑7B	1	512	FP16	0.12 J
Llama‑2‑7B	32	512	FP16	0.045 J
Falcon‑40B	8	1024	INT8	0.09 J
Mistral‑7B‑V0.1	16	2048	FP16	0.07 J
Llama‑3‑405B	1	2048	BF16	0.31 J

关键要点

硬件依赖 – 当前的功率读取方式在 NVIDIA GPU 与 Intel CPU 上表现最佳，AMD 或 ARM 平台仍需额外适配器。
相位标记粒度 – 极短提示（< 10 标记）会产生计时噪声，使每标记归属不够稳定。
模型特定开销 – 基准尚未捕获内存控制器功耗或冷却系统差异，这在大规模集群中可能占主导。
未来方向 – 扩展至边缘设备推理，集成新兴低功耗加速器（如 Habana、Gaudi），并加入自动化“能耗预算”调优循环，实现批大小或量化方式的动态调整。