[Paper] 在离散潜在空间中的下一个概念预测导致更强的语言模型

请提供您希望翻译的具体文本内容（除 > Source: … 行之外的部分），我会按照要求将其翻译成简体中文并保留原有的格式。谢谢！

概述

本文介绍了 Next Concept Prediction (NCP)，这是一种新的预训练目标，位于大多数大型语言模型使用的经典下一词预测（NTP）之上。模型不仅预测下一个词，还预测一个可以跨越多个标记的 离散“概念”（例如短语、实体或重复模式）。通过迫使模型学习这些更高层次的单元，作者展示了语言模型变得更具表达力，并在广泛的下游任务中实现了持续的提升。

关键贡献

• Next Concept Prediction (NCP)：一种新颖的预训练任务，除了常规的下一个标记目标外，还预测多标记概念。
• ConceptLM 架构：集成向量量化的潜在表示，以构建紧凑的“概念词汇表”，并利用预测的概念来引导标记生成。
• 可扩展训练：实验规模从 70 M 到 1.5 B 参数，训练数据量高达 300 B 标记（包括 Pythia 和 GPT‑2 数据管道）。
• 实证提升：在 13 个基准数据集上实现持续改进（例如语言理解、推理和生成任务）。
• 持续预训练的证明点：在已训练的 8 B 参数 LLaMA 模型上应用 NCP，可获得额外的性能提升，展示了与现有模型的兼容性。

方法论

1. 量化隐藏状态 – 将模型的连续隐藏向量通过向量量化（VQ）层，该层将每个向量映射到学习得到的码本中最近的条目。每个码本条目成为一个 概念标记。
2. 构建概念词汇表 – 通过在训练语料库中对相似隐藏状态进行聚类，VQ 码本捕获重复出现的多标记模式（例如 “New York City”、 “machine learning”、 常见成语）。
3. 双目标训练 – 在预训练期间，模型同时：
   • 预测下一个词（标准 NTP）。
   • 预测码本中的下一个概念标记（NCP）。
     两个头的损失相加，鼓励网络学习细粒度的词汇知识和粗粒度的语义块。
4. 引导标记生成 – 推理时，将预测的概念标记反馈到解码器，提供一个高层次的 “提示”，用于条件化后续标记的预测。

整体流程足够简单，可直接嵌入现有的 Transformer 代码库：用 VQ 层和额外的概念分类头替换或增强语言模型头。

结果与发现

• 基准性能 – 在 13 项多样化任务（包括 GLUE、SuperGLUE 和零‑shot 生成基准）中，ConceptLM 的表现平均比仅使用标记的基线高出 1–4 % 的绝对值，在受益于短语级理解的任务（例如实体识别、常识推理）上提升更大。
• 扩展行为 – 相对提升随模型规模和数据量的增加而增长；1.5 B 参数的 ConceptLM 在相较于其仅标记对应模型的提升幅度最大。
• 持续预训练 – 在已训练好的 8 B LLaMA 模型上添加 NCP 阶段，使同一基准套件的平均提升为 +0.8 %，证实 NCP 可以作为事后“增益”。
• 学习概念的分析 – 可视化显示许多码本条目对应语义连贯的单元（命名实体、技术术语、成语），表明模型确实捕获了更高层次的结构。

实际影响

• 更好的少样本和零样本性能 – 通过内化多标记概念，模型能够从更少的示例中进行泛化，这对在标注数据有限的情况下构建应用的开发者非常有价值。
• 更高效的提示 – 概念标记可以作为下游生成的简洁“指南”，有望缩短提示长度并提升可控性。
• 兼容现有流水线 – 由于 NCP 只是一个额外的损失项，团队可以在不重构整体架构的情况下，对现有模型进行微调或继续预训练。
• 压缩潜力 – 离散概念词表提供了一种自然的模型知识压缩方式（例如，仅存储码本和概念预测用于下游任务）。
• 提升可解释性 – 概念标记是可读的聚类，为工程师提供了一个全新的视角来检查模型的学习内容（有助于调试或偏差分析）。

限制与未来工作

• 概念粒度权衡 – 代码本过小可能会把不相关的 token 强行归入同一概念，而代码本过大则会稀释效果并增加内存开销。寻找最佳平衡点需要经验性调优。
• 训练开销 – VQ 层会增加额外的计算和内存，相比纯 token 级别的模型会略微减慢预训练速度。
• 领域迁移 – 学到的概念与预训练语料紧密关联；将 NCP 应用于高度专业化的领域（如法律或生物医学）可能需要领域专用的代码本。
• 未来方向（作者提出）包括：探索层次化概念词表、将 NCP 与检索增强生成结合、以及将该范式应用于多模态模型（例如视觉‑语言）。

---

Next Concept Prediction 为开发者提供了一条实用路径，能够在不放弃已有投入的前提下提升语言模型的语义感知。通过在预训练期间将多 token 模式视为一等公民，ConceptLM 证明了目标函数的适度改动即可转化为可衡量的实际收益。

作者

• Yuliang Liu
• Yunchong Song
• Yixuan Wang
• Kewen Ge
• Alex Lamb
• Qipeng Guo
• Kai Chen
• Bowen Zhou
• Zhouhan Lin

论文信息

• arXiv ID: 2602.08984v1
• 分类: cs.CL, cs.AI
• 出版日期: 2026年2月9日
• PDF: 下载 PDF