[Paper] 少即是多：Probabilistic reduction 最好用 small-scale predictability measures 来解释

Source: arXiv - 2512.23659v1

概述

本文提出了一个令人惊讶的实际问题：我们到底需要多少语言上下文才能将语言模型概率与人类认知行为联系起来？ 通过系统地比较完整句子的概率与短程 n‑gram 估计，作者们展示了小规模可预测性度量足以捕捉心理语言学实验中观察到的“概率降低”效应。该发现挑战了总是需要大型、上下文丰富模型用于认知建模的假设。

关键贡献

• 经验性证据表明 n‑gram（2‑到 5‑gram）可预测性分数能够像完整句子的语言模型概率一样预测人类的处理难度。
• 形式化定义“概率性约简”，并提供了跨不同上下文窗口测量它的明确实验方案。
• 跨模态验证使用眼动追踪和自定速阅读数据集，展示了在不同任务中的稳健性。
• 开源工具包用于提取 n‑gram 惊讶度并与基于 transformer 的惊讶度进行比较，促进可重复性。
• 理论洞见认为认知规划单元可能远小于整个话语，使计算模型与增量处理的心理语言学理论保持一致。

方法论

1. 数据 – 作者使用了三个标准的心理语言学语料库（Dundee 眼动追踪语料库、Natural Stories 自主阅读数据集，以及口语理解数据集）。
2. 可预测性度量
   • 全句 惊讶度使用最先进的 transformer 语言模型（GPT‑2）计算。
   • n‑gram 惊讶度来源于在相同训练数据上训练的平滑 5‑gram 模型。
   • 两种度量都是每个目标词的对数概率（惊讶度）。
3. 概率化简检验 – 对每个词，检验增加更多上下文（从 2‑gram → 3‑gram → … → 全句）是否显著提升与人类阅读时间的相关性。
4. 统计分析 – 使用混合效应回归模型，随机截距设定为参与者和项目，以比较不同上下文规模的预测能力。
5. 工具 – 作者发布了一个 Python 包（probred），可自动化 n‑gram 提取、惊讶度计算和回归拟合。

结果与发现

• 平台效应 – 惊讶度与阅读时间之间的相关性在 4‑gram 层面出现平台期；更长的上下文未带来统计显著的提升。
• 可比性能 – 4‑gram 模型解释了约 92 % 在全部三个语料库中由完整句子 GPT‑2 模型捕获的方差。
• 稳健性 – 该平台效应在不同模态（视觉 vs. 听觉）以及不同参与者群体（母语者 vs. 非母语者）中均成立。
• 效率提升 – 计算 n‑gram 惊讶度的速度比基于 transformer 的惊讶度快 >100×，解释力的损失可忽略不计。

Practical Implications

• Fast Cognitive Metrics – 开发实时可读性或理解度工具的开发者可以使用轻量级的 n‑gram 惊讶度（surprisal），而不是重量级的 transformer 模型，从而显著降低延迟和计算成本。
• Simplified Feature Engineering – 对于纳入类人难度预测器的 NLP 流程（例如自适应辅导系统、能够预判用户困难的语音助手），短距离 n‑gram 模型已足够。
• Resource‑Constrained Environments – 边缘设备、移动应用或低功耗 IoT 语音接口现在可以嵌入预测难度的度量，而无需 GPU 加速的语言模型。
• Interpretability – n‑gram 惊讶度是透明的（它直接反映可观察的词共现），相比于不透明的 transformer 注意力模式，更容易审计和向利益相关者解释。
• Benchmarking – 已发布的 probred 工具包提供了一个即用的基准，用于将新语言模型与人类加工数据进行评估，鼓励开展更多以认知为基础的 NLP 研究。

限制与未来工作

• 领域特异性 – 实验仅限于英文叙事和口语语料库；在技术或高度领域特定文本上的表现尚未测试。
• 高级现象 – 虽然 n‑gram 捕捉局部可预测性，但可能遗漏长程话语效应（例如指代消解），这些在更复杂任务中可能重要。
• 模型变体 – 仅评估了单一的 transformer（GPT‑2）和一个平滑的 5‑gram；未来工作可以探索其他架构（例如循环语言模型）和自适应上下文窗口。
• 神经认知验证 – 将分析扩展到 EEG 或 fMRI 数据，可验证相同的小尺度可预测性是否在神经层面成立。

作者

• Cassandra L. Jacobs
• Andrés Buxó-Lugo
• Anna K. Taylor
• Marie Leopold-Hooke

论文信息

• arXiv ID: 2512.23659v1
• 分类: cs.CL
• 出版日期: 2025年12月29日
• PDF: 下载 PDF