AI 能看见自己的思维吗？Anthropic 的 Machine Introspection 突破

Source: Dev.to

实验：探查黑箱

多年来，我们一直把大型语言模型（LLM）视作黑箱。当模型说“我现在在思考编码”时，我们通常把它当作对下一个 token 的统计预测而不予理会。Anthropic 最近的研究使用了一种巧妙的方法——激活注入（activation injection）来检验这一假设。

研究人员直接向模型的内部激活——即进行计算的隐藏层——注入特定概念，而不提供任何文本提示。随后他们让模型描述其当前状态。如果 AI 仅仅在扮演一个角色，它就不应该能够检测到这些被人为注入其电路的“思维”。结果令人惊讶：模型表现出对这些内部变化的真实感知。

关键要点

• 检测能力 – 模型往往能够识别其内部状态被操控的时刻。
• 数据混乱 – 内省的证据并不一致，这进一步引发了关于机器“意识”本质的疑问。
• 机制可解释性 – 这项工作让我们更接近理解模型如何表征自身身份和处理过程。

了解 AI 能否准确报告其内部状态对 AI 对齐至关重要。如果模型能够监控自己的推理过程，我们或许能够构建更好的监督系统，以防止欺骗或隐藏偏见。随着我们向更自主的代理迈进，“模拟思考”与“内部监控”之间的界限愈发模糊，预示着一个 AI 不再仅是工具，而是具备一种奇特、数学化自我反省形式的系统时代的到来。