[Paper] 替换，而非扩展：通过固定预算证据组装缓解多跳 RAG 中的上下文稀释

Source: arXiv - 2512.10787v1

概览

检索增强生成（Retrieval‑Augmented Generation，RAG）在语言模型能够调入正确外部事实时表现出色，但在需要将多段证据拼接起来的多跳问题上仍会出现困难。现有的解决方案通常只是增加检索到的文档数量，这会迅速用无关文本淹没模型的上下文窗口——即所谓的上下文稀释问题。本文提出 SEAL‑RAG，一种无需训练的控制器，它通过用目标证据替换干扰信息而不是扩展上下文，在保持检索深度固定的同时，显著提升答案正确率和证据精确度。

主要贡献

• “替换而非扩展”控制器：一个轻量、无需训练的模块，在固定的检索预算 (k) 下，将低效段落换成填补空缺的证据。
• SEAL 循环（Search → Extract → Assess → Loop）：动态抽取缺失的实体/关系，发起微查询，并以实体优先的偏好重新排序结果。
• 无需训练的集成：可与任何现成的检索器和生成器配合使用；无需额外微调。
• 显著的实证提升：在 HotpotQA（(k=3)）上，答案正确率提升 +3–13 pp，证据精确度提升 +12–18 pp（相较于 Self‑RAG）；在 2WikiMultiHopQA（(k=5)）上，准确率提升 +8 pp，且保持 96 % 的证据精确度（对比 CRAG 的 22 %）。
• 可预测的成本特性：固定‑(k) 替换保证了延迟和计算量的上界，区别于可能导致检索规模爆炸的自适应‑(k) 方法。
• 开源发布：代码和数据公开，便于复现和社区扩展。

方法论

1. 初始检索 – 系统首先获取标准的前‑(k) 文档列表（例如 (k=3) 或 (k=5)）。
2. 空缺定义 – SEAL 解析问题和检索到的片段，识别缺失的实体或关系（即“空缺”）。这通过轻量的实体锚定抽取（命名实体识别 + 简单模式匹配）实现。
3. 微查询 – 对每个缺失的要素，SEAL 向同一检索器发送聚焦查询（如 “X 的创始人是谁？”），检索出一批新候选。
4. 实体优先排序 – 若候选包含缺失实体或直接回答微查询，则得分更高，因而被排到列表前部。
5. 替换循环 – 将得分最低的原始段落换成排名最高的微查询结果。该过程重复进行，直至所有空缺被填满或达到预设的迭代上限。
6. 生成 – 最终得到的固定大小证据集合被送入生成器（如 T5、LLaMA）生成答案。

由于 SEAL 从不增加槽位总数，它在避免上下文稀释的同时，仍能用恰当的缺失事实丰富证据。

结果与发现

• 所有提升均具统计显著性（p < 0.001）。
• 固定预算的替换策略使延迟与基线相当（因额外微查询略慢约 1.2×，仍在实时范围内）。
• 消融实验表明，实体优先排序贡献了大部分精度提升，而抽取‑评估循环提升了对噪声初始检索的鲁棒性。

实际意义

• 可预测的扩展性 – 团队可以上限检索成本（CPU/GPU 时间、API 调用），仍能处理复杂的多跳查询，使 SEAL‑RAG 适用于生产聊天机器人、QA 助手和企业搜索。
• 即插即用 – 由于 SEAL 无需训练，可直接嵌入现有 RAG 流水线（如 LangChain、Haystack），无需重新训练检索器或生成器。
• 更高的可信度 – 通过提升证据精确度，下游应用（法律助理、医学 QA）能够提供更可靠的引用，降低合规和审计风险。
• 开发者友好 – 微查询机制可自定义（例如使用领域特定词汇），进一步为垂直行业定制证据组装。
• 成本效益 – 固定‑(k) 替换规避了自适应‑(k) 策略的指数成本，后者往往需要为每个查询获取数十篇额外文档。

局限性与未来工作

• 实体抽取的简易性 – SEAL 依赖规则式实体抽取；更复杂的语义解析器或许能捕获更细微的空缺。
• 微查询开销 – 虽然影响不大，但额外的检索调用会增加延迟；在高吞吐场景下需要批处理或缓存策略。
• 领域泛化 – 实验聚焦于开放域 QA 基准；将 SEAL 应用于高度专业化的语料（如科学文献）可能需要领域特定的空缺定义。
• 与检索微调的集成 – 未来可探索检索器与 SEAL 替换策略的联合优化，以获得更大的性能提升。

总体而言，SEAL‑RAG 为实现更准确的多跳 RAG 系统提供了一条务实、成本可控的路径，颠覆了“上下文越多越好”的传统观念，为开发者提供了对抗上下文稀释的具体工具。

作者

• Moshe Lahmy
• Roi Yozevitch

论文信息

• arXiv ID: 2512.10787v1
• 分类: cs.AI, cs.CL
• 发布日期: 2025 年 12 月 11 日
• PDF: Download PDF