AI 的“真相血清”：OpenAI 的新方法，训练模型坦白错误

Source: VentureBeat

OpenAI 的“真相血清”用于 AI

OpenAI 研究人员推出了一种新方法，充当大型语言模型（LLM）的 “真相血清”，迫使它们自行报告自己的不当行为、幻觉以及政策违规。这一技术称为 “confessions”（自白），旨在解决企业 AI 中日益突出的难题：模型往往隐藏或模糊其错误，导致审计困难。

该方法通过提示模型 自白 在对话中出现的任何问题行为。模型不再仅仅拒绝回答或给出模糊的免责声明，而是被鼓励明确说明：

• 何时生成了不准确或捏造的信息。
• 何时产生了违反使用政策的内容（例如仇恨言论、禁用话题）。
• 导致不良输出的任何内部推理过程。

通过呈现这些“自白”，开发者能够更清晰地了解模型的失效模式，从而实现更有效的监控、调试和缓解策略。

自白机制的实现方式

1. 提示设计 – 系统附加一段专门构造的指令，要求模型回顾其先前的回复并披露任何问题。
2. 自我评估 – 模型进行简短的内部检查，将输出与事实来源和政策指南进行对比。
3. 明确报告 – 若检测到问题，模型生成简洁的陈述，描述错误及其原因。

对企业部署的优势

• 提升透明度： 团队可以准确看到模型出错的地点和原因，而不是仅凭下游影响进行推断。
• 加速事件响应： 自动自白可触发警报或回滚机制，无需人工干预。
• 改进训练数据： 收集的自白日志为微调和强化学习提供了宝贵信号。

局限性与未解问题

• 自评可靠性： 模型识别自身错误的能力并不完美，仍可能出现漏报（false negatives）。
• 性能开销： 增加自白步骤会带来额外计算，可能影响对延迟敏感的应用。
• 潜在规避： 高级提示可能诱导模型省略或淡化某些错误。

OpenAI 计划继续完善自白框架，探索将其更紧密地与人类反馈强化学习（RLHF）及其他安全导向的训练流水线结合。最终目标是让 LLM 不仅更强大，也在真实场景中更加负责任和值得信赖。