[Paper] 可证明的长程收益：Next-Token Prediction

Source: arXiv - 2512.07818v1

概览

现代语言模型的训练目标是预测下一个 token，然而它们却能够惊人地生成连贯的长文本。本文证明，下一个 token 的预测 本身在使用标准循环神经网络（RNN）时就具备捕获长程结构的能力。换句话说，一个训练良好的 RNN 能够产生在统计上与真实文档不可区分的序列，即使对手可以查看任意固定长度为 k 的连续 token 窗口。

关键贡献

• 长程保真性的理论保证： 证明在下一个 token 损失上训练的 RNN 能够如此逼近真实数据分布，以至于任何有界大小的算法都无法区分模型生成的 k token 窗口与原始语料库中的窗口。
• 多项式规模模型界限： 给出关于隐藏单元数和参数量的显式多项式上界（关于 k，但与文档总长度无关），以实现不可区分性属性。
• 复杂度理论视角： 将下一个 token 训练的成功框定为可证明的性质，而非经验谜团，将语言建模与计算学习理论的概念相联系。
• 通用适用性： 结果适用于任何能够表示所需函数的 RNN 架构（例如 vanilla RNN、LSTM、GRU），无需奇特的改动。

方法论

1. 形式化问题设定 – 作者定义了文档的 训练分布 与 RNN 的 下一个 token 损失 目标。
2. 不可区分性准则 – 引入一个游戏：一个描述长度受限（即计算资源有界）的算法收到一个长度为 k 的 token 窗口，需要判断它是来自真实文档还是来自在相同前缀条件下的模型。
3. 证明策略 –
   • 表达能力论证： 证明多项式规模的 RNN 能够编码训练分布对任意前缀的精确条件概率。
   • 优化保证： 证明最小化下一个 token 损失会使 RNN 的条件分布任意接近真实分布。
   • 复杂度界限： 使用信息论工具界定任何区分器所需的描述长度，展示在选定的模型规模下，区分器的成功概率是可忽略的。
4. 参数尺度分析 – 推导 k（窗口大小）与所需隐藏维度/权重幅度之间的显式多项式关系。

该证明刻意保持在较高层次，避免深度张量演算，以便开发者把握直觉：如果模型能够足够好地预测下一个词，它就已经学习了底层的统计依赖，无论这些依赖相距多远。

结果与发现

• k‑token 不可区分性： 对任意固定的 k，在下一个 token 损失上训练的多项式规模 RNN 产生的模型，其在相同前缀条件下的任意 k 连续 token 的分布在统计上与真实数据分布不可区分。
• 模型规模随 k 的增长： 所需隐藏维度大致随 O(k³) 增长（具体指数取决于架构），相较于当今基于 Transformer 的大型语言模型的数十亿参数，这一规模仍属适中。
• 与文档长度无关： 该保证对任意长度的文档均成立；随着序列增长，界限不会恶化。

通俗地说，论文表明 良好的下一个 token 预测自动带来良好的长程连贯性，并量化了实现特定连贯水平所需的网络规模。

实际意义

• 对下一个 token 训练的信心： 开发者可以相信优化下一个 token 损失并非捷径；它从根本上捕获了长程依赖，为在大规模语言模型中继续使用该目标提供理论支持。
• 模型规模经验法则： 多项式界限提供了一条经验法则，用于估算为保证一定窗口大小（例如 100 token 一致性）所需的隐藏维度——大约几千的隐藏单元即可。
• 高效架构选择： 由于理论适用于简单 RNN，暗示在某些场景（如设备端语言建模）下，调优良好的 RNN 可以在不牺牲长程质量的前提下取代笨重的 Transformer。
• 基准设计： 不可区分性框架可以激发新的评估指标，专注于测试 k‑token 真实感，而非仅依赖困惑度或人工评判。

局限性与未来工作

• 假设精确优化： 证明要求 RNN 达到（近）全局最小的下一个 token 损失，实际的随机训练并不一定能保证。
• 仅限 RNN： 虽然作者认为结果可扩展到其他循环结构，但并未覆盖当前主流的基于注意力的模型（如 Transformer）。
• 界限松弛： 多项式上界可能偏松，需要实证研究来确定给定 k 下的最小实际模型规模。
• 真实数据复杂性： 理论训练分布假设平稳且行为良好，而自然语言存在重尾现象和词汇演化，可能影响保证的有效性。

未来的研究方向包括将分析扩展到 Transformer 架构、放宽优化假设，以及在大规模语料上实证验证理论的规模‑连贯性权衡。

作者

• Xinyuan Cao
• Santosh S. Vempala

论文信息

• arXiv ID: 2512.07818v1
• 分类: cs.LG, cs.AI, stat.ML
• 发布日期: 2025 年 12 月 8 日
• PDF: Download PDF