[Paper] 两阶段符号过程中的 Zipf 分布：随机词汇过滤下的稳定性

Source: arXiv - 2511.21060v1

概览

Vladimir Berman 的论文探讨了计算语言学中的一个经典难题：自然语言中的词频为何遵循 Zipf 定律（秩‑频幂律）。作者并未诉诸于交流效率或认知约束，而是展示了一种纯几何的、两阶段符号过程即可产生 Zipf‑类分布。该模型简洁、数学上有坚实依据，能够再现英语、俄语以及混合体裁语料库中观察到的频率模式。

主要贡献

• 完整组合词模型 (FCWM)： 引入一种生成过程，从有限字母表加上一个“空白”符号构造词，产生几何分布的词长。
• 两阶段随机过滤： 展示第二个随机步骤——词汇过滤（丢弃部分生成的字符串）——如何将几何词长分布转化为幂律秩‑频曲线。
• 闭式关系式： 推导出一个显式公式，将 Zipf 指数与字母表大小及空白符号的概率联系起来。
• 实证验证： 提供大量模拟以及对真实语料库（英语、俄语、混合体裁）的拟合，理论预测无需任何语言特定的调参即可匹配。
• 概念转变： 论证 Zipf‑型规律可以纯粹源自组合约束，挑战依赖交流最优性的解释。

方法论

1. 词生成（阶段 1）：

   • 设定大小为 k 的有限字母表 A，以及一个特殊的“空白”标记 □。

   • 通过从 A ∪ {□} 中以固定概率反复抽取符号来产生符号序列。

   • 当抽到空白时过程停止，因此生成字符串的长度 ℓ 服从几何分布：

     [ P(\ell) = (1-p)^{\ell-1}p, ]

     其中 p 为抽到空白的概率。

2. 词汇过滤（阶段 2）：

   • 并非所有生成的字符串都会成为词汇表中的“词”。模型对每个字符串施加一个随机过滤，以与其长度相关的指数“力”成比例的概率保留。
   • 该过滤步骤引入指数偏置，当与几何词长分布相结合时，产生了秩的幂律分布。

3. 解析推导：

   • 将两个指数因素（几何词长和过滤偏置）视为相互作用的力，作者推导出形如

     [ f(r) \propto r^{-\alpha}, ]

     的秩‑频关系，其中指数 (\alpha) 是 k 与 p 的简单函数。

4. 模拟与实证拟合：

   • 大规模 Monte‑Carlo 模拟在不同 (k, p) 参数设置下生成合成语料库。
   • 使用标准拟合度指标（Kolmogorov–Smirnov、(R^{2})）将合成的秩‑频曲线与真实语料库进行比较。

结果与发现

• 理论指数吻合数据： 对于英语（≈26 个字母 + 空格）和俄语（≈33 个西里尔字母 + 空格），预测的 (\alpha) 值（≈1.0–1.2）与实测的 Zipf 斜率高度一致。
• 跨体裁的鲁棒性： 在混合新闻、文学和技术文本时，模型仍能捕捉整体的幂律形状，表明该机制与体裁无关。
• 参数敏感性： 调整空白概率 p 会平滑地改变指数；较大的 p（空白更频繁）导致更陡的斜率，这与“平均词长更短会产生更快的频率衰减”直觉相符。
• 无需语言先验： 该模型在不假设意义、句法或交流成本的前提下再现 Zipf 定律，暗示该规律可能是组合约束的副产品。

实际意义

• 合成文本生成： 开发语言模型或测试语料库的人员可以使用 FCWM 生成具有真实词频分布的文本，而无需大量真实数据。
• NLP 流程的词表规模估计： 字母表大小、空白概率与 Zipf 指数之间的显式关系，可帮助在扩展 token 集（如加入子词单元）时估计词表增长。
• 压缩与存储优化： 认识到 Zipf‑式偏斜可由简单组合过程产生，有助于为 token 流设计更佳的熵编码方案，尤其在资源受限或特定领域场景下。
• 基准设计： 在评估语言模型鲁棒性时，基于 FCWM 的合成基准能够将频率分布的影响与更高层次语言结构分离。
• 跨语言迁移： 由于模型抽象掉了语言特定规则，可作为比较不同语言频率动态的中性基线，帮助多语言分词策略的制定。

局限性与未来工作

• 缺乏语义成分： 模型将所有生成的字符串视为同等有意义，这限制了其解释依赖语义的现象（如词义消歧、主题建模）。
• 固定字母表假设： 真实语言的正字法会演化；将模型扩展到动态或层次化的字母表（如 Unicode 字素簇）可能提升真实性。
• 词汇过滤的简化： 随机过滤仅是形态学和音位约束的代理；未来工作可用语言学驱动的约束取代，以弥合纯组合学与实际词形成规则之间的差距。
• 实证范围： 虽已覆盖英语和俄语，但在非字母文字（中文、阿拉伯语）上的测试将检验其普适性。

核心结论： Berman 的两阶段符号过程提供了一个简洁、数学可解析的 Zipf 定律解释，对希望以原理化方式建模词频行为、生成合成语料或推理现代 NLP 系统中词表动态的开发者具有重要价值。

作者

• Vladimir Berman

论文信息

• arXiv ID: 2511.21060v1
• 分类: stat.ME, cs.CL, stat.ML
• 发表时间: 2025 年 11 月 26 日
• PDF: Download PDF