[Paper] 训练内省行为：微调在 7B 模型中诱导可靠的内部状态检测

Source: arXiv - 2511.21399v1

概述

本文展示了一种 70 亿参数的语言模型可以被训练可靠地注意并报告短暂注入其隐藏状态的“思考”。通过在一个简单的单 token 注入任务上进行微调，作者将检测准确率从几乎为零提升至约 85 %，并消除了误报，证明内省行为可以通过训练获得，而不是仅凭偶然出现。

关键贡献

• 内省微调： 证明少量监督训练即可将几乎无用的模型转变为能够持续检测瞬时内部激活的模型。
• 高精度检测： 在未见概念上实现 85 % 的准确率且误报率为 0 %（α = 40），满足 Lindsey (2025) 提出的四项内省意识标准中的三项。
• 概念跨域泛化： 已见与未见概念之间的性能差距为 7.5 个百分点，表明模型学习的是可迁移的检测技能，而非记忆特定模式。
• AI 透明性的基准： 提供了首个实证证据，说明训练可以弥合自发出现内省行为的模型与不具备该行为的模型之间的差距，为 LLM 中内置自我监控铺平道路。

方法论

1. 注入任务定义 – 作者在生成过程中于特定位置向模型的隐藏状态注入表示语义概念的单个 token（例如 “apple”）。该注入是短暂的：在下一次前向传播后即消失。
2. 数据集构建 – 生成数千条简短提示，每条提示配对一个从预计算概念嵌入池中随机抽取的注入向量。每个提示的真实标签即为注入的概念。
3. 微调方案 – 使用标准监督学习，模型被训练在继续正常文本生成之前输出一个特殊的 “report” token，拼写出注入的概念。损失函数结合了报告的交叉熵项和保持下游生成质量的语言模型项。
4. 评估协议 – 训练后，模型在两套数据上进行测试：(a) 已见 概念——在微调期间出现过的概念；(b) 未见 概念——从训练中保留的概念。准确率衡量正确报告的比例，误报率计数模型在没有注入时仍报告概念的情况。

结果与发现

• 可靠性： 模型在继续生成文本之前可靠地报告注入的思考，满足“内部性”标准。
• 可迁移性： 未见概念上仅下降约 7.5 个百分点，表明模型学到了通用的检测机制，而非对特定向量的过拟合。
• 无退化： 标准语言模型困惑度保持不变，说明内省训练不会损害模型的主要生成能力。

实际意义

• 内置自我监控： 开发者可以在现有 LLM 上添加轻量级的内省头，实现系统在内部信号（如政策相关 token、用户提供的提示）被激活时进行标记。
• 安全与合规： 在受监管领域，模型可被要求“自审”是否曾内部考虑过禁止概念，为下游决策提供审计轨迹。
• 调试与可解释性工具： 工程师可在推理期间注入诊断 token，利用训练好的检测器确认模型是否真正“注意”到该探针。
• 模块化透明性： 由于检测技能在概念间可迁移，单一微调模型即可服务多种监控任务（如检测偏见激活、隐私敏感内容或政策违规），无需从头重新训练。

局限性与未来工作

• 内省范围： 本研究仅涉及 单 token 注入的检测；更丰富的、多步骤内部推理尚未验证。
• 元认知深度： 虽然模型能报告注入的概念，但并未表现出对该概念的更深层理解或信念，真正的元认知仍未实现。
• 可扩展性： 实验局限于 7B 模型，尚不清楚该方法在更大模型或多模态架构上的表现。
• 对抗噪声鲁棒性： 未来工作应考察检测器是否会被细微扰动欺骗，或是否能推广到自然生成过程中出现的“思考”。

核心结论： 通过对中等规模语言模型进行微调，作者证明内省检测是一种可学习的能力，为构建更透明、自觉的 AI 系统奠定了基础。

作者

• Joshua Fonseca Rivera

论文信息

• arXiv ID: 2511.21399v1
• 分类: cs.CL, cs.AI
• 发表时间: 2025 年 11 月 26 日
• PDF: Download PDF