超越 RAG:构建自主的“Epistemic Engine”以对抗 AI 幻觉
Source: Dev.to
“是的先生”问题
如果你构建过 RAG 应用,你一定见过这种情况:你提出一个带有错误前提的引导性问题,LLM 会愉快地“凭空”编造证据来支持你的说法。这被称为 阿谀奉承(sycophancy),是信任 AI 的隐形杀手。
引入 FailSafe
架构:深度防御
FailSafe 将验证视为网络安全问题。它使用多层过滤器,确保只有高质量的事实能够通过。
统计防火墙(第 0 层)
为什么要在垃圾信息上浪费 token?我们使用香农熵和词汇分析,立即拒绝低质量输入。这是一种“零成本提前退出”策略。
专用小模型(SLMs)
我们并不需要 GPT‑5 来处理所有任务。FailSafe 将共指消解(如 “他说……”)等任务交给 FastCoref 等专用模型。这更快、更便宜,并且在特定语法任务上往往更准确。
议会:管理认知冲突
这是一切的核心。FailSafe 不使用单一代理,而是采用由三位不同代理组成的 议会(Council):
- 逻辑学家 – 检测推理中的形式谬误。
- (原文中会列出其他代理。)
结论
我们称 FailSafe 为“认知引擎”(Epistemic Engine),因为它优先保证知识的完整性,而非对话的流畅性。它是开源的,我们正在寻找贡献者,帮助推动自主验证的边界。