你的 AI Reviewer 和你有相同的盲点
Source: Dev.to
（请提供需要翻译的正文内容，我将为您翻译成简体中文。）
引言
自我审查的 AI 系统往往继承了其创建者的同样盲点。当模型评估自己的输出时，共享的知识缺口可能被忽视，导致系统性错误。
具体失败案例：正则回溯引用
(\b\w+\b)(?:\s+\1){4,}目的：捕获对抗性令牌重复。
预期精度：> 95 %。
该模式依赖回溯引用 (\1)。Parapet 使用 Rust 的 regex crate 编译正则表达式，而该 crate 不支持回溯引用。因此，该模式无法编译，并且在启动时会导致 panic。
独立审查揭示问题
| 模型系列 | 视角 | 发现 |
|---|---|---|
| GPT（OpenAI） | 真实情况——计划是否匹配实际代码库？ | 在 pattern.rs 中检测到编译调用；使用 rg 运行正则时出现 “不支持回溯引用” 错误。 |
| Qwen（阿里巴巴） | 隐藏假设——如果假设错误会导致什么问题？ | 标记了相同的模式，指出未测试的边缘情况（例如诗歌或行话）可能导致误报。 |
两个模型系列从不同角度识别出相同的问题，说明不同模型可以在单个审查员未发现的关键缺陷上达成共识。
Cognitive monoculture
当多个模型共享相同的架构、训练数据和知识边界时，它们往往会遗漏相同的错误。文献中将这种现象称为 cognitive monoculture。
- 异构集成在推理基准测试中相比同模型组合大约提升 9 % 的准确率 (arXiv:2404.13076)。
- 独立并行审查的表现优于多轮辩论 (arXiv:2507.05981)。
多模型审查框架
我们构建了 Cold Critic，一个在不知作者身份的情况下评估方案的独立审查者。系统并行调度五个模型系列，每个系列都采用特定角色的视角：
| 模型系列 | 审查视角 |
|---|---|
| Kimi (Moonshot AI) | 内部一致性——每一步是否都源自前一步？ |
| Qwen (Alibaba) | 隐藏假设——如果错误会导致什么破裂？ |
| Mistral | 缺口——明天实施会被什么阻碍？ |
| DeepSeek | 推理——重建论证并定位分歧。 |
| GPT (OpenAI) | 真实依据——计划是否与实际代码库匹配？ |
Claude（Anthropic）负责协调整个过程，将发现按根本原因进行聚类，以便重复的问题只出现一次。新增四个免费层 API 的边际成本几乎为零；只有真实依据审查员（OpenAI Codex）会产生少量费用。
审查发现
1. 正则表达式编译错误
不支持反向引用 – 由 GPT 和 Qwen 识别。
2. 范围不匹配
实际审阅者追踪了代码（trust.rs、l3_inbound.rs、defaults.rs），发现精度估计仅针对工具结果进行校准，而库会扫描 所有 未受信任的消息（包括用户聊天）。这种更广的范围使报告的精度数值失效。
3. 难以实现的覆盖目标
三个系列（Kimi、Qwen、DeepSeek）指出，计划承诺 20 % 覆盖率，但预测仅为 9–15 %，且没有弥补差距的机制。
4. 测试夹具风险
有一家供应商指出，删除噪声模式而未更新相应的测试断言会导致构建失败。尽管只有一个模型提出此问题，但该发现是有效且可操作的。
5. 对抗性适应风险（已分离）
审查将缺乏依据的担忧（例如 “对抗性适应风险”）与具体、基于事实的发现区分开来，防止问题数量被夸大。
为什么收敛很重要
当 不同模型家族独立标记相同根本原因 时，证据是收敛的，应给予很高权重。然而，单一提供者的发现 仍可能至关重要，尤其是当它们包含其他审阅者无法获得的独特信息时。
方法的优势
- 覆盖优于共识 – 五个模型提供问题的五个不同切面；重叠部分提供相互印证，非重叠部分揭示隐藏问题。
- 错误多样性 – 目标不是让每个模型更聪明，而是确保它们以不同方式出错，从而提升整体鲁棒性。
- 可移植性 – 使用角色特定视角的独立并行审查可以在任何编排器或工作流引擎上实现。
结论
依赖单一模型对其自身工作进行审计，会重现导致原始错误的相同盲点。通过采用异构的并行审查并按根本原因对发现进行聚类，团队能够揭示显而易见和微妙的缺陷，降低认知单一化，并提升 AI 生成计划的可靠性。