【论文】语言模型中语法性的隐式表示

Source: arXiv - 2605.05197v1

概述

最近的研究探讨了大型预训练语言模型（LM）是否将语法学习为一个独立于它们被训练去预测的原始似然性的概念。通过对几种最先进的语言模型的隐藏状态进行探测，作者展示了一个简单的线性分类器能够可靠地区分语法正确和语法错误的句子——往往比直接使用模型自身的概率分数更好。这表明语言模型嵌入了一种隐含的语法性概念，可以用于下游任务。

关键贡献

• Linear probing of grammaticality: 证明了在合成扰动句子上训练的单层线性探针能够区分语法正确和不正确的输入。
• Out‑of‑distribution generalization: 该探针能够迁移到人工策划的语法判断基准（例如 CoLA），并始终优于原始语言模型概率。
• Semantic plausibility vs. grammar: 表明该探针在纯语法任务上表现出色，但在对仍然语法正确的句子按合理性进行排序时，得分不及概率分数。
• Cross‑lingual transfer: 在英语上训练的探针在多种其他语言的语法基准上仍保持预测能力，且无需语言特定的微调即可超越语言模型概率。
• Weak correlation with token probabilities: 探针得分仅与语言模型自身的似然估计松散关联，进一步支持内部语法信号的独立性。

方法论

1. 数据创建：

   • 从大型自然语言语料库开始（英文维基百科、BookCorpus 等）。
   • 通过系统性扰动（例如词语洗牌、主谓一致置换、随机删除）生成 不符合语法 的对应句子。
   • 保持 符合语法 的原句不变，得到一个平衡的二分类数据集。

2. 模型选择：

   • 使用多个预训练的 Transformers（GPT‑2、BERT、RoBERTa 等），且不进行任何进一步的微调。

3. 探测设置：

   • 从选定层（通常是最后一层或倒数第二层）提取隐藏表示。
   • 在这些表示上训练一个 线性分类器（逻辑回归），预测 “符合语法 vs. 不符合语法”。
   • 不添加非线性层或注意力机制——这可以隔离模型空间中已经线性可分的部分。

4. 评估：

   • 域内： 在保留的扰动句子上测试。
   • 域外： 将探针应用于已有的语法性基准（CoLA、BLiMP）以及语义合理性对（例如 “The cat chased the mouse” vs. “The cat chased the cheese”）。
   • 跨语言： 将英文训练的探针用于法语、德语、中文等相似数据集。
   • 将探针的预测与使用语言模型的 token 级或句子级概率作为决策规则的简单基线进行比较。

结果与发现

• 探针 vs. 概率： 探针在纯语法任务上始终优于原始概率，但在两个句子都符合语法且仅在意义上不同的任务上则不然。
• 层分析： 最强的线性可分性出现在中上层（12层模型的第8‑12层），暗示语法信息在经过若干 transformer 块后逐渐形成。
• 相关性： 探针得分与语言模型对数概率的 Pearson r 仅约为 0.3，证实它们捕获的信号大体上是正交的。

实际意义

• Grammar‑aware generation: 开发者可以在基于语言模型的文本生成器中加入轻量级探针，以过滤语法错误的输出，同时不牺牲速度。
• Error detection & correction: 类 IDE 的代码注释、文档或聊天机器人检查工具可以利用探针的二元评分实时标记语法错误。
• Multilingual tooling: 由于英文训练的探针在迁移时表现尚可，团队可以在多种语言上使用同一个探针，从而降低对特定语言标注数据的需求。
• Curriculum design for fine‑tuning: 了解语法位于线性可分子空间的事实表明，对下游任务（如摘要）的微调可以保留该子空间，从而产生更流畅的输出。
• Evaluation metric: 该探针提供了一种新的、与模型无关的指标，用于在困惑度之外对语言模型的语法正确性进行基准测试，对研究和产品质量保证流程都有帮助。

限制与未来工作

• 合成错误 vs. 自然错误： 训练数据依赖于算法扰动，可能无法覆盖人类语法错误的全部范围。
• 语言范围： 跨语言结果虽有前景但不均衡；具有不同类型学特征的低资源语言（例如黏着语或自由序语言）需要专门研究。
• 探针简洁性： 线性探针有意保持最小化；更丰富的探针结构可能揭示更深层的句法层次或更优雅地与语义交互。
• 与语义的交互： 探针在可行性任务上的弱点表明语法与意义仍然纠缠；未来工作可以探索联合探针或多任务微调以平衡两者。

底线： 即使语言模型仅通过最大化似然进行训练，它们似乎也会形成一种内部、线性可访问的语法感知。利用这一隐藏信号可以使语言感知的应用更具鲁棒性、多语言性和语言学洞察。

作者

• Yingshan Susan Wang
• Linlu Qiu
• Zhaofeng Wu
• Roger P. Levy
• Yoon Kim

论文信息

• arXiv ID: 2605.05197v1
• 分类: cs.CL
• 出版日期: 2026年5月6日
• PDF: 下载 PDF