LLMs 知道自己在产生幻觉吗？认识 Gnosis，5M 参数观察者

Source: Dev.to

幻觉问题

尽管拥有令人印象深刻的能力，LLM 常常以十足的自信生成错误信息。传统的错误检测方法通常需要使用更大的模型作为“评审”（如 GPT‑4 或 Gemini Pro）来验证输出。但这既计算成本高，又往往在生成过程结束后才发现问题。

介绍 Gnosis：微型观察者

研究人员开发了 Gnosis，一个仅有 500 万参数 的极小机制。与只查看最终文本的传统评审不同，Gnosis 直接观察 LLM 的内部：

• 隐藏状态（Hidden States）： 数据的内部表征。
• 注意力模式（Attention Patterns）： 模型如何将不同 token 关联起来。

通过分析这些内部信号，Gnosis 能在句子尚未完成时就预测答案是正确还是错误。

超越巨型模型

结果惊人。这款 5 M 参数的“微型观察者”在判断真实性方面超越了 80 亿参数的奖励模型，甚至超过 Gemini 1.5 Pro。Gnosis 最令人印象深刻的特性是速度：只需看到生成内容的 40 % 就能检测出错误。这为实时纠错打开了可能性——模型可以在检测到自身激活模式中的“幻觉特征”后立即停止或转向。

为什么这对 AI 未来重要

该研究表明，错误的“知识”已经存在于模型的潜在空间中，即使解码过程未能正确呈现。通过构建像 Gnosis 这样的轻量监控器，我们可以在不依赖庞大评估模型的情况下，打造更可靠、自觉的 AI 系统。这是朝着 AI 不再盲目猜测、而是“知道”自己不确定的重要一步。