[Paper] 语言统计中的对称性塑造模型表征的几何结构

Source: arXiv - 2602.15029v1

（请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。）

概述

本文揭示了为何大型语言模型（LLMs）和词嵌入系统常常将概念组织成出人意料的简洁几何形状——比如月份形成一个圆形，或城市按纬度和经度排列。作者展示了一种隐藏在自然语言共现统计中的简单 平移对称性，它是塑造这些结构的数学引擎，并证明即使在原始统计被大幅扰动的情况下，这一效应仍然存在。

关键贡献

• 识别出语言共现数据中的平移对称性（例如，看到“January”和“March”一起出现的概率仅取决于两个月的间隔，而不取决于具体的月份）。
• 提供严格的证明，表明该对称性迫使高维嵌入在低维流形（圆、直线、平面）上排列。
• 展示了鲁棒性：相同的几何模式在对训练语料库进行剧烈操作后仍然存在，暗示该对称性是一种涌现属性，而非脆弱的人工产物。
• 将对称性与潜在的连续变量关联，解释了为何中等规模的嵌入（远离无限维极限）已经展现出预测的几何结构。
• 在三类模型中验证理论：经典词嵌入算法（如 GloVe、word2vec）、现代句子嵌入编码器以及全尺度的大型语言模型（GPT 风格的 Transformer）。

方法论

1. Statistical analysis of corpora – 作者计算令牌（月份、城市、年份等）的成对共现矩阵，并验证矩阵条目主要取决于 相对 属性（时间间隔、地理距离）。
2. Theoretical framework – 使用统计物理和随机矩阵理论的工具，他们证明当共现矩阵具有平移对称性时，其最高特征向量张成一个低维子空间，任何最优嵌入（例如最小化典型的 skip‑gram 损失）都会继承该子空间。
3. Perturbation experiments – 他们有意删除所有包含特定令牌对的句子（例如，任何同时提到两个月份的句子），并重新训练嵌入，以测试几何结构是否会崩塌。
4. Empirical validation – 团队在原始语料和扰动语料上训练多个模型（word2vec、GloVe、Sentence‑BERT 和 GPT‑2/3‑scale），随后使用 PCA/t‑SNE 可视化学习到的表示，并通过线性分类器探测，以恢复已知的潜在变量（月份角度、纬度等）。

结果与发现

• 月份的循环排列 在每个测试的模型中出现，角位置与日历顺序高度相关 (R > 0.95)。
• 年份的一维流形 即使在移除年份‑年份共现后仍然出现，表明该对称性通过其他标记间接编码。
• 地理解码：线性探针在维度低至128的嵌入中，以 < 5 % 的平均绝对误差恢复城市名称的纬度和经度。
• 扰动鲁棒性：在删除所有直接的月份‑月份共现后，循环模式仍然存在（仅出现轻微的角噪声增加），确认该对称性由更广泛的潜在结构强制实现。
• 潜在变量模型：将一个简单的连续潜在变量（例如“年份时间”）拟合到共现矩阵，可再现观察到的特征值谱，支持作者的假设。

实际意义

• 特征工程：开发者可以利用嵌入的固有几何结构来进行下游任务（例如，对时间实体进行聚类、地理空间推理），无需额外监督。
• 模型可解释性：对称性框架提供了一种原则性的方法来诊断为何某些概念是线性可分的，帮助调试基于嵌入的流水线。
• 数据增强：了解几何结构对缺失共现的鲁棒性表明，激进的数据裁剪或隐私保护的 token 删除可能不会像担心的那样削弱语义结构。
• 高效表征学习：鉴于中等维度的嵌入已经捕获了低维流形，实践者可以安全地在边缘设备上减小模型规模，同时保留可解释的结构。
• LLM 提示设计：理解大型语言模型内部状态遵循这些对称性可以指导提示工程——例如，以与模型的循环月份表示对齐的方式构造时间查询。

限制与未来工作

• 该理论假设全局平移对称性；然而许多真实语料库仅表现出近似或局部变化的对称性，这可能限制其在特定领域（例如代码、法律文本）的适用性。
• 实验主要聚焦于以英语为中心的数据集；跨语言或低资源语言可能呈现不同的对称性模式。
• 潜变量解释仅在单一连续因子上演示；将框架扩展至捕获多个交互潜在维度（例如，时间 × 主题）仍是一个未解决的挑战。
• 未来的工作可以探索训练目标（对比式 vs. 自回归）如何调节所诱导几何结构的强度，以及在下游任务上微调是否会保持或扭曲这种对称性。

作者

• Dhruva Karkada
• Daniel J. Korchinski
• Andres Nava
• Matthieu Wyart
• Yasaman Bahri

论文信息

• arXiv ID: 2602.15029v1
• 类别: cs.LG, cond-mat.dis-nn, cs.CL
• 出版日期: 2026年2月16日
• PDF: 下载 PDF