衡量模型幻觉：当 AI 编造事实

Source: Dev.to

什么是 AI 幻觉？

当语言模型生成流畅且连贯，但在事实层面不正确或完全捏造的信息时，就会出现 AI 幻觉，且通常伴随高度自信的表述。

衡量 AI 幻觉

我构建了一个 用于衡量 AI 幻觉的实验平台，系统地评估模型何时生成事实错误的信息、不同提示如何影响幻觉率，以及哪些干预措施可以减少这些捏造。该框架默认使用模拟模型，任何人都可以在无需 API 访问的情况下进行探索，当然它也支持真实的大语言模型（例如 Anthropic Claude）以进行更深入的实验。

测试问题集

事实型

具有可验证答案的问题。

模糊型

存在多种合理解释的问题。

不可能型

没有正确答案的问题。

我的收获

流畅性掩盖捏造

模型能够对不可能的问题给出极其可信的答案，凭空编造细节，却保持完整的叙事连贯性且毫不犹豫。

提示有帮助，但并不能根除

让模型验证自己的答案或承认不确定性可以降低幻觉的出现，但并不能彻底消除。即使使用精心设计的提示，仍会有捏造信息漏网。

细微变化，巨大差异

措辞的微小差别就能让模型从诚实回答转为幻觉输出。这种脆弱性凸显了提示工程在 AI 安全中的重要性。

项目亮点

• 默认使用模拟模型，完全可复现。
• 可选支持真实大语言模型（例如 Anthropic Claude）。
• 提供衡量幻觉率、分析置信度相关性以及研究提示工程影响的工具。
• 旨在无需昂贵的 API 访问即可使用——只需好奇心和对理解 AI 真实性的承诺。

关键要点

幻觉并非罕见的边缘案例；它们是语言模型行为的根本挑战。系统地衡量幻觉为构建更真实、可靠的 AI 系统奠定了基础——提醒我们流畅的表达并不等同于证据。

AI 安全评估套件的下一步

Measuring Sentiment – 探索 AI 如何误读人类情感和意图，这是 AI 安全的另一个细微领域。