通过推测采样加速大型语言模型解码

发布: 1天前 (2026年1月7日 GMT+8 17:50)

2 min read

原文: Dev.to

Source: Dev.to

Overview

想象一下，从大型语言模型获取答案的速度几乎提升了一倍。研究人员使用一个小而快速的辅助模型提前写出几个词，然后大型模型检查并批准这些词——于是每一步可以生成更多文本。该方法在保持相同质量的同时缩短了等待时间，使对话感觉更流畅、不会那么卡顿。

此技巧使用快速的 draft model（草稿模型）来猜测短的续写，然后由主模型确认这些猜测。通过让系统在一次检查中产生多个词，草稿模型可以提前写出内容，而更大的模型负责验证输出。

在对大型模型的测试中，speculative sampling 实现了约 2–2.5× 的 speed（速度）提升，且并未改变大模型本身。服务因此能够在保持准确性的同时，大幅提升响应速度，惠及所有用户。

这就像一个帮手先写草稿，专家再签字确认——既节省时间，又保持可信度。想象一下，你输入一个问题后，能够在原来两倍的速度收到完整、流畅的回复，这对忙碌的人以及喜欢即时答案的用户来说都更友好。