[Paper] 神经语言模型中的涌现词汇语义：在 LLM 生成文本上测试 Martin's Law

Source: arXiv - 2511.21334v1

概览

Kai Kugler 的论文探讨了大型语言模型（LLM）是否会自发学习一种经典语言学模式——Martin’s Law，即词频与词义数（多义性）之间的逆关系。通过在训练过程中对多个 Pythia 模型的内部表征进行探测，研究发现了该规律的惊人、非线性出现，挑战了“训练越多 = 语言忠实度越高”的假设。

关键贡献

• 首次系统性检验 Martin’s Law 在 LLM 生成文本中的表现。
• 新颖的义项归纳流水线： 使用 DBSCAN 对上下文化的 token 嵌入进行聚类，以近似词义。
• 纵向分析： 对四个 Pythia 模型（70 M – 1 B 参数）进行 30 个检查点的追踪。
• 发现非单调轨迹： 该规律在早期（约检查点 104）达到峰值，随后下降。
• 模型规模洞察： 小模型出现灾难性语义崩塌；大模型则逐渐衰减。
• 频率‑特异性权衡： 在所有规模上保持稳定（≈ –0.3 相关系数），表明词频与上下文特异性之间的持续张力。
• 开放方法论： 代码和检查点数据已公开，以便复现和未来基准测试。

方法论

1. 模型选择： 四个开源 Pythia 检查点（70 M、160 M、410 M、1 B）使用相同语料进行训练。
2. 采样文本： 在 30 个等间距的训练步骤上，模型生成大量句子语料（≈ 20 万 token/检查点）。
3. 嵌入提取： 对每个 token 出现，记录模型最后一层隐藏状态（上下文化嵌入）。
4. 义项归纳：
   • 对同一表层词的嵌入使用 DBSCAN 进行聚类，DBSCAN 是一种密度基算法，可自动确定聚类数目。
   • 每个聚类被解释为该词的一个独立“义项”。
5. 量化 Martin’s Law：
   • 词频 从生成的语料中计算。
   • 多义性计数 = 每个词的 DBSCAN 聚类数。
   • 对每个检查点计算对数词频与多义性之间的 Pearson 相关系数 (r)。
6. 对照分析： 使用随机嵌入和打乱 token 顺序的方式，验证观察到的相关性不是聚类过程的伪影。

结果与发现

• 非单调出现： 相关系数在早期检查点几乎为零，随后在检查点 104 附近达到峰值，之后下降——这与语言规律会持续改善的预期相悖。
• 频率‑特异性权衡： 所有模型中，词频与上下文特异性之间的相关系数始终约为 –0.3，表明模型始终在此平衡上徘徊，未能完全解决。
• 小模型的语义崩塌： 峰值后，70 M 与 160 M 模型失去区分义项的能力，实质上“平坦化”了多义性。大模型则能更长时间保持更丰富的义项空间。

实际意义

• 训练计划： 对于依赖细腻词义的应用（如语义检索、义项感知翻译），早期检查点可能是最佳选择。继续训练超出此窗口会削弱义项辨别，尤其是对小模型影响更大。
• 模型选型： 在资源受限只能使用小模型的情况下，开发者需注意 语义崩塌风险，并可能需要在义项丰富的下游任务上进行微调以恢复多义性。
• 评估指标： Martin’s Law 可作为 诊断探针 来衡量语言结构的出现，补充传统的困惑度或下游基准分数。
• 提示工程： 了解 LLM 存在一个暂时的“最佳语义窗口”，开发者若能访问中间检查点（如研究级流水线），可在峰值多义性对应的检查点进行 基于提示的推理。
• 安全与偏见： 义项表示的崩塌可能导致对高频词的 过度概括，进而放大偏见或降低可解释性。监控多义性或可成为模型治理工具箱的一部分。

局限性与未来工作

• 义项近似： DBSCAN 对嵌入的聚类是对人类标注义项的间接代理；该方法可能将细微的上下文变化误判为真实的多义性。
• 单一架构： 本研究仅考察了 Pythia 系列；不同训练方案的 Transformer 变体（如 decoder‑only 与 encoder‑decoder）可能会得到不同结果。
• 语料依赖性： 生成的文本反映了训练数据的分布；将该方法应用于特定领域语料可能会出现不同的轨迹。

未来方向

• 将该方法与金标准义项库（WordNet、BabelNet）进行验证。
• 将分析扩展至多模态模型和指令微调的 LLM。
• 探索干预措施（如辅助义项消歧目标），以在整个训练过程中维持或提升 Martin’s Law 的表现。