[Paper] 何时信任廉价检查：弱验证与强验证用于推理

Source: arXiv - 2602.17633v1

概述

大型语言模型（LLMs）正日益被部署在验证循环中，以决定模型的答案是否可信。本文形式化了 cheap, internal checks（例如 self‑consistency、proxy rewards）与 expensive, external validation（human feedback、gold‑standard tests）之间的权衡。通过将它们视为 weak 与 strong 验证信号，作者推导出何时依赖廉价检查、何时回退到昂贵检查的最优策略，提供了一种在速度、成本和可靠性之间取得平衡的原则性方法。

关键贡献

• 形式化框架 用于 弱-强验证策略，共同管理接受、拒绝和延迟决策。
• 双阈值最优策略：可证明的最优策略简化为基于弱验证器分数的下限和上限置信阈值的简单规则。
• 度量指标 用于量化 错误接受、错误拒绝 和 强验证调用频率。
• 理论分析 表明弱验证器的 校准（其分数与真实概率的吻合程度）和 锐度（置信度分布的宽窄）决定其有效性。
• 在线算法 能够实时调整阈值，保证接受/拒绝错误在可控范围内，且不对查询分布、底层大语言模型或弱验证器作任何假设。
• 实证验证 在合成和真实世界的 LLM 推理任务上进行，展示了在保持错误率受控的同时，大幅降低强验证成本。

方法论

1. 问题设定

   • 每个查询 (x) 会产生一个模型答案以及一个 弱验证分数 (s(x)\in[0,1])（例如自洽概率）。
   • 强验证器 能够明确标记答案是正确还是错误，但会产生高成本 (c_s)。
   • 系统必须决定：接受、拒绝，或交由强验证器处理。

2. 策略设计

   • 定义两个阈值 (\tau_{\text{low}}) 和 (\tau_{\text{high}})。
   • 若 (s(x) \le \tau_{\text{low}}) → 拒绝；若 (s(x) \ge \tau_{\text{high}}) → 接受；否则 → 调用强验证。
   • 这些阈值的选择旨在最小化预期的强验证使用量，同时满足用户指定的错误预算：误接受率 (\alpha) 与误拒绝率 (\beta)。

3. 度量与目标

   • 错误接受率 (IAR)：接受错误答案的概率。
   • 错误拒绝率 (IRR)：拒绝正确答案的概率。
   • 强验证频率 (SVF)：被送往昂贵验证器的查询比例。

4. 理论保证

   • 证明在上述约束下，任何最优策略必然是两阈值形式。
   • 展示 (s) 的 校准性（即 (\Pr[\text{正确}\mid s]=s)）和 锐度（(s) 在查询间的方差）决定了在给定 (\alpha,\beta) 时 SVF 能够降低到何种程度。

5. 在线自适应算法

   • 保守地初始化阈值。
   • 随着查询到达，利用观察到的强验证结果更新 IAR 与 IRR 的经验估计。
   • 调整 (\tau_{\text{low}}) 与 (\tau_{\text{high}})，使错误率保持在目标预算内，同时随时间缩小 SVF。
   • 对查询分布或 LLM/弱验证器的内部机制不作任何假设。

6. 实验

   • 使用合成数据，其中已知真实正确性，可精确衡量校准效果。
   • 在真实 LLM 推理基准（如数学文字题、常识问答）上进行实验，使用自洽性作为弱验证器，人工评估作为强验证器。

结果与发现

• 双阈值策略始终能够命中错误预算，同时相比于“始终验证”的朴素基线，将强验证调用削减了约 30‑40 %。
• 校准很重要：当弱验证器的分数与真实正确性高度一致时，算法可以将阈值向外放宽，进一步降低 SVF。
• 在线算法能够快速收敛（在几百次查询内）到接近最优的阈值，即使底层 LLM 或查询分布出现漂移。

实际意义

• Cost‑Effective LLM Services: SaaS 平台可以嵌入廉价的自一致性检查，仅在置信度落入模糊区间时才调用人工审查或昂贵的 oracle 调用，从而显著降低运营费用。
• Real‑Time Assistants: 语音助手或 IDE 代码补全工具大多数情况下可以提供即时答案，仅在必要时回退到较慢但可靠的验证步骤，以保持用户体验。
• Safety‑Critical Systems: 在医疗建议或金融分析等领域，该框架提供了一种原则性方法，以保证有害错误的上限，同时使人工介入保持在可管理范围。
• Model‑Agnostic Deployment: 由于该算法不依赖于特定的 LLM 架构，可直接嵌入已使用任意弱验证器（如熵、集成不一致性、代理奖励模型）的流水线中。

限制与未来工作

• 依赖校准：该方法假设弱验证器可以在事后进行校准（或重新校准）；校准不佳的分数可能会夸大 SVF 或违反错误预算。
• 二元正确性模型：当前的表述将输出仅视为正确或错误，忽略了分级质量或部分得分，这在开放式生成任务中很常见。
• 用户定义的错误预算：对于不熟悉下游风险概况的实践者来说，选择合适的 (\alpha) 和 (\beta) 值可能并不容易。
• 强验证的可扩展性：虽然该算法降低了强检查的频率，但对于海量查询流而言，绝对成本仍可能过高；将更廉价的代理强验证器（例如专用分类器）整合进来是一个待探索的方向。
• 动态环境：未来的工作可以将理论扩展到更明确地处理非平稳查询分布，或许可以通过变点检测或阈值的元学习来实现。

底线：通过将廉价的内部检查视为弱验证并形式化何时转向昂贵的外部验证，这项工作为开发者提供了一套数学上有依据、易于实现的方案，用于构建既快速又可信的 LLM‑驱动系统。

作者

• Shayan Kiyani
• Sima Noorani
• George Pappas
• Hamed Hassani

论文信息

• arXiv ID: 2602.17633v1
• 分类: cs.LG, cs.AI, stat.ML
• 发布于: 2026年2月19日
• PDF: 下载 PDF