AI生成文档中的隐藏信任问题

发布: (2026年1月14日 GMT+8 22:00)
6 min read
原文: Dev.to

Source: Dev.to

请提供您希望翻译的完整文本内容,我将按照您的要求保留源链接、格式和技术术语,仅将正文翻译为简体中文。谢谢!

AI 生成文档中的隐藏信任问题

第一次 AI 为我的项目生成文档时,它看起来完美无缺:结构清晰,语气自信,语言专业。
这正是问题所在。

一周后,当我尝试审阅它时,我无法回答一个基本问题:

这份文档的哪些部分来自我的需求,哪些部分是 AI 编造的?

所有内容都写得同样自信。没有办法判断哪些内容值得信任——哪些内容需要我去核实。

当 AI 创建文档时,它并不区分:

  • 你明确提供的事实
  • 从已有文档中推断的信息
  • 为填补空白而做出的假设
  • 一般行业惯例

这些在页面上看起来都一样。起初,这似乎很方便。后来,它变得危险,因为你再也分不清哪些是真实的,哪些只是听起来合理而已。

为每个陈述标记来源

这个修复在概念上很简单,但在实践中非常强大:要求 AI 为每个陈述标记其来源。每个声明必须说明它来自何处。

标记定义

Tag含义可信级别
[explicit]直接由用户提供高 — 按原样使用
[inferred]从现有文档中推导得到中 — 需要验证
[assumed]由于缺少信息而使用的占位符低 — 需要输入
[general]来自一般知识的填充低 — 如有需要可覆盖

示例改写

[explicit] The API uses REST architecture with JSON responses.
[inferred] Authentication requires Bearer tokens.
   └─ "All endpoints require authentication" (REQUIREMENTS.md L.23)
[assumed] Rate limiting is set to 100 requests per minute.
[general] Error responses follow RFC 7807 format.

现在审查工作一目了然:我能准确知道该关注哪些地方。[inferred] 标记被证明是最危险的,因为 AI 非常擅长事后合理化——它可以先得出结论,然后寻找听起来支持该结论的文本。

强制可验证的推断

规则: 每条 [inferred] 声明必须包含来自其来源的原文引用。

[inferred] Retry policy allows 3 attempts
   └─ "External API calls should retry up to 3 times" (API_DESIGN.md L.28)

如果引用不能支持结论,问题会立刻显现。没有引用,我必须自己去文档中搜索;有了引用,验证只需几秒钟。

当需要标签时

并非所有文档都必须使用标签。规则很简单:对其他人将依赖其为真相的文档打标签。

文档类型是否需要标签验证方法
工作日志即时记录
设计规范人工审查
README / 指南人工审查
测试规范交叉引用
源代码可执行测试

源代码已经拥有验证机制(测试),而文档没有。源标签提供了缺失的验证元数据。

处理术语漂移

Source attribution alone breaks down when terminology drifts.

# API_DESIGN.md
[explicit] Retry policy allows 3 attempts

# SERVICE_SPEC.md
[inferred] Re‑execution strategy permits 3 tries

# TEST_SPEC.md
[inferred] Fault recovery mechanism uses 3 retries

对同一概念使用三个不同的名称会导致 grep 和影响分析失效,削弱信任。

对话式统一

与其使用静态术语表,不如在 AI 与人类的对话中统一术语:

Human: “重新执行的次数应增加到 5。”
AI: “您提到的‘重新执行’是指现有文档中的‘retry policy (#retry‑policy)’吗?”
Human: “是的。”
AI: “已了解。将 retry policy 更新为 5 次尝试。”

漂移在进入点被捕获,而不是在损害扩散后才发现。这在单用户工作流中效果良好,但在多用户环境下会出现并行真相。要解决此问题,需要共享基础设施:同步的术语表、版本化的术语或序列化的工作流——这属于另一类问题。

实用指南

  • 新项目: 从第一天起就让 AI 参与;标签和统一术语保持整洁。
  • 遗留系统: 采用问题驱动的集成方式,然后在后续强制执行标签规则。
  • 边界: 新工作遵循协议;遗留系统保持不变,直至进行修改。

来源归属并不能让 AI 完美——它也无法阻止错误的发生。它所做的,是让错误变得可见。当你能够看到 AI 确信的地方与它猜测的地方时,就能知道该在哪里运用人工判断。这种可视性是 AI 协同开发中信任的基石。


本文是 超越提示工程 系列的一部分,探讨系统化——而非偶然——的 AI 工作方式。

Back to Blog

相关文章

阅读更多 »

Rapg:基于 TUI 的密钥管理器

我们都有这种经历。你加入一个新项目,首先听到的就是:“在 Slack 的置顶消息里查找 .env 文件”。或者你有多个 .env …

技术是赋能者,而非救世主

为什么思考的清晰度比你使用的工具更重要。Technology 常被视为一种魔法开关——只要打开,它就能让一切改善。新的 software,...

踏入 agentic coding

使用 Copilot Agent 的经验 我主要使用 GitHub Copilot 进行 inline edits 和 PR reviews,让我的大脑完成大部分思考。最近我决定 t...