[Paper] 被引用但未验证：LLM 深度研究代理中的来源归属解析与评估

Source: arXiv - 2605.06635v1

概述

本文首次系统性地提出了一种衡量大型语言模型（LLMs）在充当生成长篇 Markdown 风格报告的“深度研究代理”时，其引用来源的准确程度的方法。通过解析内联引用、抓取被引用的网页，并检查其可访问性、相关性和事实一致性，作者揭示了一个隐藏的可靠性缺口：即使是顶级模型也常常生成表面看似良好却包含不准确信息的引用。

关键贡献

• 一个可复现的基于 AST 的引用解析器，能够大规模从 LLM 生成的文档中提取 Markdown 风格的参考文献。
• 一个三维评估框架（链接有效性、相关内容、事实检查），通过检索被引用的来源并让人类或 LLM 评审进行评估，实现闭环。
• 对 14 种闭源和开源 LLM 的基准结果，显示链接有效性高 (>94%)，相关性高 (>80%)，但事实准确性明显较低 (39‑77%)。
• 关于工具调用深度的消融研究，揭示检索调用次数增多 (2 → 150) 实际上会使前沿模型的事实正确率下降约 42%。
• 开源评估基础设施（解析器、评分标准、校准脚本），社区可用于未来的引用质量研究。

方法论

1. 报告生成 – 为每个大型语言模型（LLM）提供提示，让其以 Markdown 格式撰写研究风格的报告，并插入内联引用（[1]、[2] 等），其中包含 URL。
2. AST 解析 – 使用轻量级抽象语法树（AST）解析器遍历 Markdown 文档，提取每个引用块并对 URL 进行标准化。
3. 源获取 – 解析器自动抓取每个 URL（处理重定向、HTTP 错误以及在可能情况下的付费墙）。
4. 评估维度
   • 链接可用 – 检查 URL 是否解析为可访问的页面（状态码 200）。
   • 相关内容 – 使用语义相似度（例如嵌入）在引用段落与报告正文之间进行比较，以衡量主题对齐程度。
   • 事实核查 – 将报告中的事实陈述与检索到的来源进行比较，采用基于评分标准的 LLM‑as‑a‑judge，并以少量人工标注数据进行校准。
5. 评分与聚合 – 对每个模型和每个维度的得分进行平均，从而实现对 14 种系统的直接比较。

整个流水线是开源的、容器化的，可在配备普通 GPU 的工作站上运行，因而对学术界和工业团队都具有实用性。

结果与发现

• 引用表面质量较高：大多数模型能够可靠地生成可访问的 URL，并且通常引用与主题相关的材料。
• 事实可靠性落后：即使是表现最好的模型，也只有约一半的引用是事实正确的。
• 深度降低准确性：当模型进行大量工具调用（最多 150 次）时，其事实核查得分比浅层的 2 次调用设置下降约 42%。
• 一次性成功率：不到 50 % 的开源模型能够在不使用额外提示技巧的情况下生成完整的带引用报告。

实际影响

• 工具增强的代理需要更严格的验证循环 – 仅仅检索更多文档并不能保证更好的答案；开发者应在每个检索步骤后嵌入事实核查。
• 自动化报告生成器（例如用于合规、市场分析或学术辅助）必须提供来源验证界面，以便最终用户能够查看引用是否可访问、相关且事实准确。
• LLM‑as‑a‑judge 流水线可以集成到 AI 生成内容的 CI/CD 中，在部署前自动标记低准确性的引用。
• 开源模型选择 – 需要可验证引用的团队应倾向于使用更大、调优良好的开源模型，并投入后生成验证，而不是仅依赖原始生成。
• 监管合规 – 对审计轨迹严格的行业（金融、制药、法律）可以使用提供的框架，确保 AI 生成的文档符合引用标准，从而降低责任风险。

限制与未来工作

• 来源可访问性偏差 – 付费墙或动态生成的页面常常无法通过 Link Works 检查，可能会惩罚引用高质量但受限来源的模型。
• 评估标准校准 – 事实核查维度依赖于在有限人类样本上校准的 LLM 评审；更广泛的人类验证可能提升可靠性。
• 领域覆盖 – 实验主要聚焦于通用网络来源；专业领域（例如 DOI 付费墙后的科学文献）可能呈现不同的模式。
• 检索可扩展性 – 当前流水线逐个获取 URL；大规模生产使用需要并行化和缓存策略。

未来的研究方向包括将解析器扩展至处理 Markdown 之外的引用样式，集成外部事实核查 API，以及探索强化学习循环，使代理基于验证反馈迭代优化引用。

作者

• Hailey Onweller
• Elias Lumer
• Austin Huber
• Pia Ramchandani
• Vamse Kumar Subbiah
• Corey Feld

论文信息

• arXiv ID: 2605.06635v1
• 类别: cs.CL
• 发表时间: 2026年5月7日
• PDF: 下载 PDF