[Paper] 可证明的通过低 Logit 秩从现代语言模型学习

Source: arXiv - 2512.09892v1

概览

现代语言模型（LLM）极其复杂，但最近的实证工作表明，它们的 token 级别对数概率矩阵通常具有 低秩——即可以用少量潜在因子很好地近似。本文利用这一观察，设计了一种算法，能够在开发者已经通过 LLM API（例如“给出此提示后 token X 的概率”）使用的相同查询接口下，可证明地学习这种 “低对数秩” 模型。该结果是首个针对生成模型的端到端学习保证，且该模型在行为上与当今 LLM 的表现相符。

关键贡献

• 低对数秩形式化： 提出一种简洁的数学抽象，将 LLM 表示为对数概率矩阵，并具有近似低秩，呼应实证发现。
• 查询学习模型： 定义了一个现实的查询访问模型（对数查询），与开发者对 LLM 服务的典型 API 调用相匹配。
• 高效学习算法： 提供了一种多项式时间算法，利用对数查询即可恢复任意低对数秩模型的近似，并给出可证明的误差界限。
• 难度洞察： 表明低对数秩模型能够编码极其困难的分布（例如噪声奇偶），从而凸显需要专门算法的原因。
• 首个可证明保证： 给出首个与现代 LLM 实际结构相吻合的生成模型的理论学习保证。

方法论

1. LLM 的矩阵视角：

   • 将每个 token (v) 在上下文 (c) 下的条件对数概率视为矩阵 (L) 的一个条目（行 = 上下文，列 = token）。
   • 实证上，(L) 可以被一个秩为 (r) 的矩阵 (U V^\top) 近似，其中 (r \ll \min(#\text{contexts}, #\text{tokens}))。

2. 查询模型：

   • 学习者可以提交任意上下文 (c)，并获得完整的对数向量 (L_c)（所有 token 的对数概率）。
   • 这与典型的 API 调用相符，即提示返回词表上的概率分布。

3. 算法核心：

   • 随机子空间采样： 随机抽取适量上下文，以捕获 (U) 的列空间。
   • 低秩矩阵补全： 利用观测到的对数向量求解受约束的回归，从而在小误差下恢复 (U) 与 (V)。
   • 噪声处理： 引入稳健统计技术（如谱过滤），以容忍隐藏在低秩结构中的噪声奇偶类分布。

4. 理论分析：

   • 证明只需 (O(r \cdot \text{polylog}(V))) 次查询（其中 (V) 为词表大小），算法即可输出一个与真实分布的全变差距离被 (\epsilon) 限制的模型。
   • 运行时间在 (r)、(V) 与 (1/\epsilon) 的多项式范围内。

结果与发现

• 样本复杂度： 该算法仅需 线性 于秩 (r) 的查询次数（实际 LLM 常 < 50），并对词表大小呈对数依赖，因而即使对大模型也实用。
• 误差保证： 高概率保证对任意上下文的条件分布重构误差不超过 (\epsilon)。
• 实证验证（合成）： 在合成低秩对数矩阵（包括噪声奇偶嵌入）上的实验表明，算法远比通用黑箱学习方法更高效地恢复底层因子。
• 与真实 LLM 的契合度： 对 GPT‑2 类检查点的初步分析显示，其对数矩阵的有效秩约为 30–40，暗示理论范式与当今模型相关。

实际意义

• 模型提取与审计： 开发者现在可以仅通过标准 API 提取一个紧凑的代理模型，用于离线分析、调试或合规检查，而无需完整模型访问权。
• 高效微调： 低秩表示可作为 轻量级骨干 用于下游任务，在特定领域数据上微调时降低计算和内存开销。
• 蒸馏与压缩： 知道 LLM 的 logits 接近低秩子空间，为 知识蒸馏 开辟新路径——小学生模型直接学习该子空间，而非模仿完整输出分布。
• 鲁棒性与安全性： 认识到低秩结构可能隐藏困难分布（如噪声奇偶），有助于 对抗性测试——安全团队可针对 LLM API 探测隐藏的、难以学习的行为。
• API 设计： 服务提供者可有意暴露 “logit‑vector” 接口，使开发者能够利用低秩学习算法进行定制工具开发，同时仍保护底层权重。

局限性与未来工作

• 精确低秩假设： 真实 LLM 只表现出 近似 低秩；当前理论要求有界的近似误差，对实际噪声的更紧致刻画仍是开放问题。
• 查询成本实际考量： 虽然理论上查询高效，但每次查询返回完整词表的对数向量，对极大词表而言可能带宽沉重。未来可探索 压缩查询方案。
• 上下文相关秩的扩展： 秩可能随上下文长度或领域变化；将算法适配 动态秩 场景是有趣的方向。
• 在闭源 API 上的实证评估： 将方法应用于商业 API（如 OpenAI、Anthropic）可验证实际可行性并发现工程挑战。
• 超越生成模型： 探索类似低秩抽象是否适用于多模态模型（如视觉‑语言）可进一步扩大本工作影响。

作者

• Noah Golowich
• Allen Liu
• Abhishek Shetty

论文信息

• arXiv ID: 2512.09892v1
• 分类: cs.LG, cs.AI, cs.DS, stat.ML
• 发表时间: 2025 年 12 月 10 日
• PDF: Download PDF