[Paper] InEx：通过自省和跨模态多代理协作进行幻觉缓解

Source: arXiv - 2512.02981v1

概览

论文 “InEx: 通过自省与跨模态多代理协作缓解幻觉” 解决了大型语言模型（LLM）中最顽固的问题之一：幻觉——生成听起来合理但事实错误的陈述。作者借鉴了类似人类的决策过程——先自省，再寻求外部验证，提出了一种 无需训练的多代理框架，显著降低了多模态 LLM（MLLM）中的幻觉。

关键贡献

• InEx 框架： 一种新颖的即插即用系统，将内部自省与跨模态、多代理验证相结合，无需额外模型训练。
• 基于熵的不确定性估计器： 量化决策代理的犹豫程度，在需要时触发更深层次的自省。
• 三代理协作：
  1. 决策代理 – 生成初始答案。
  2. 编辑代理 – 利用视觉/文本线索批评并重写答案。
  3. 自我反思代理 – 进行迭代检查并细化响应。
• 实证提升： 在通用问答和专门的幻觉基准上，相较于强基线实现了 4 %–27 % 的一致性提升。
• 鲁棒性： 在多种提示、模态和噪声水平下表现稳定。

方法论

1. 自省推理 – 当决策代理生成答案时，InEx 首先测量其 熵（不确定性的统计代理）。高熵会触发代理在提交最终输出前重新评估推理路径。
2. 跨模态协作 – 初始答案交给能够看到伴随图像（或其他模态）和文本的 编辑代理。它检查不匹配（例如 “猫是白色的” 与明显的黑猫）并提出编辑建议。
3. 自我反思循环 – 一个或多个 反思代理 进行轻量级验证：它们会询问 “该声明是否符合视觉证据？” 并接受、请求再次编辑或标记答案为不确定。该循环重复，直至熵降至预设阈值或达到最大迭代次数。
4. 无需训练的设计 – 所有代理都是标准 LLM（或视觉语言模型），直接使用现成模型；框架在推理时编排它们，避免昂贵的微调。

结果与发现

• 基准表现： 在 MMQA 和 VQA‑Hallucination 套件上，InEx 的事实准确率比基线 MLLM 高出最高 27 %。
• 泛化能力： 即使在未见领域（如医学影像、技术图纸）测试，框架仍保持 +10 % 的正确率提升。
• 消融研究： 移除基于熵的自省会使性能下降约 6 %；去掉编辑代理导致 12 % 的下降，验证了每个组件的重要性。
• 速度权衡： 多代理循环比单次通过模型增加约 0.8× 的延迟，但仍在交互式响应时间范围内（典型查询 <2 秒）。

实际意义

• 更安全的 AI 助手： 开发者可以将 InEx 嵌入需要引用图像（如产品手册）的聊天机器人、虚拟代理或客服工具，降低误信息风险。
• 低成本可靠性升级： 由于 InEx 在推理阶段工作，现有 LLM 部署可在不重新训练的情况下升级，节省计算预算。
• 合规监管： 在医疗、金融等幻觉可能导致法律后果的行业，InEx 可帮助满足更高的事实准确性标准。
• 开发者工具： 作者发布了轻量级 API，工程师可以使用自定义提示组合这三种代理，便于将框架适配到特定领域知识库。

局限性与未来工作

• 延迟开销： 迭代验证循环虽不大，但对超低延迟场景（如实时游戏）可能仍显不足。
• 模态质量依赖： 若视觉输入噪声大或模糊，编辑代理仍可能传播错误。
• 代理可扩展性： 当前设计假设三代理；扩展到更复杂任务可能需要更智能的编排或动态代理选择。
• 未来方向： 作者建议探索学习型策略决定何时停止自省循环，结合外部知识图谱进行更深层次事实检查，并将该范式应用于纯文本幻觉缓解。

作者

• Zhongyu Yang
• Yingfang Yuan
• Xuanming Jiang
• Baoyi An
• Wei Pang

论文信息

• arXiv ID: 2512.02981v1
• 分类: cs.CV
• 发表时间: 2025 年 12 月 2 日
• PDF: Download PDF