[论文] 二的幂量化感知训练 (PoT‑QAT) 在大语言模型 (LLMs) 中

抱歉，我需要您提供要翻译的具体文本内容。请把需要翻译的段落或全文贴在这里，我会按照要求进行翻译并保留原始的来源链接和格式。

Overview

本文介绍了 Power‑of‑Two Quantization‑Aware Training (PoT‑QAT)，一种将大型语言模型（LLMs）的权重强制表示为二的幂的技术。通过这种方式，模型的内存占用显著缩小，推理过程中昂贵的乘加运算可以被廉价的位移操作取代。作者展示了，当结合一次短暂的量化感知微调时，该方法几乎保留了原始模型的全部预测质量。

关键贡献

• Power‑of‑Two (PoT) 权重量化 用于大型语言模型，将每个权重降低为有符号指数（例如 2⁻³），并消除存储尾数的需求。
• Quantization‑Aware Training (QAT) 流程 针对 PoT 约束进行定制，缓解了朴素 PoT 量化会导致的严重精度下降。
• 在 GPT‑2（124 M 参数）上的实证验证 显示相较于朴素 PoT 量化，困惑度提升 66 %，且相对于全精度基线，BERT‑Score 损失不足 1 %。
• 量化资源节省：约 87.5 % 的内存降低，且在边缘级硬件上预计可实现 3‑10× 的推理加速。
• 开源参考实现（随论文发布），可与流行的 PyTorch 和 Hugging Face 工具链集成。

方法论

PoT 权重表示

• 每个浮点权重 w 近似为 sign(w) * 2^e，其中 e 是存储在小位宽中的整数指数（例如，4 位可表示 –8 … 7 的范围）。
• 只需在内存中保留指数；符号位单独存储，使存储量约为 32 位浮点的 1/8。

直通估计器 (STE) 用于反向传播

• 前向传播：权重被量化为 PoT 值。
• 反向传播：梯度通过 STE 传播，STE 将量化步骤视为恒等函数，从而可以使用标准的 SGD/Adam 更新。

校准与微调

• 在目标下游任务或原始语言建模目标上进行一次短的 “QAT 阶段”（≈ 10 % 的原始训练步骤）。
• 调整学习率调度，以避免对已量化的权重造成不稳定。

硬件友好推理

• 推理时，每个乘法 x * (2^e) 实现为对激活 x 的左/右位移，现代 CPU/NPUs 可在单个周期内完成。

结果与发现

要点：PoT‑QAT 在显著的 PoT 量化带来的准确率下降上弥补了大部分差距，同时提供了巨大的内存和速度优势。

实际意义

• 边缘部署：开发者现在可以在没有浮点单元的微控制器、智能手机或低功耗 ASIC 上运行 100 M 参数的 LLM。
• 成本效益扩展：云服务提供商可以降低 GPU 内存压力，从而实现更高的模型并行度或在每个节点上处理更多并发请求。
• 能源效率：位移算术的能耗远低于 FP32 乘法，可延长设备上 AI 助手的电池寿命。
• 简化模型压缩流水线：PoT‑QAT 与现有的 PyTorch torch.quantization API 集成，只需额外几行代码即可从 8‑bit 整数量化切换到 PoT。

限制与未来工作

• 指数范围：当前的 4 位指数限制了动态范围；非常深或高度过参数化的模型仍可能出现精度下降。
• 训练开销：虽然 QAT 阶段较短，但相较于纯后训练量化仍会增加一定的计算成本。
• 硬件支持：并非所有边缘 CPU 都提供针对任意位宽的高效移位乘法指令；可能需要自定义内核。
• 未来方向：作者建议探索混合精度方案（例如，权重量化使用 PoT，激活量化使用 8 位）、按层自适应指数位宽，以及将 PoT‑QAT 扩展到仅解码器的 Transformer 变体（如 GPT‑3 规模模型）。

作者

• Mahmoud Elgenedy

论文信息

• arXiv ID: 2601.02298v1
• 类别: cs.CL, eess.SP
• 发布时间: 2026年1月5日
• PDF: 下载 PDF