不要崇拜烤面包机（以及使用 AI 而不失去自主性的其他规则）

Source: Dev.to

请提供您希望翻译的正文内容，我将为您翻译成简体中文并保持原有的格式、Markdown 语法以及技术术语不变。

全景

我们现在生活在一个可以随时生成荒唐数量内容的世界——文本、图像、音乐、计划、论点、模型稿，以及足够多的选项，让单一连贯身份的概念感觉像是你忘记续费的高级功能。

生产事物的成本已经崩塌。这一点已不再有争议。仍在争论的人，要么在卖东西，要么在监管什么，要么被困在会议里，大家把“范式转变”当成祈祷般反复喊。

显而易见的结论是创造已不再重要。

这个结论是错误的，就像因为面包便宜就认为三明治毫无意义一样。问题不在于面包，而在于如今出现的令人恐惧的大量三明治，其中许多试图成为你的个性。

当供给几乎无限时，价值并不会消失。它 向上迁移，进入决定哪些值得保留的环节。

• 生成成本低。
• 判断仍然昂贵。
• 而我们却仍然试图用氛围来为判断买单。

两种广义的 AI 模式

我发现，为了保持理智，考虑 AI 的两种广义模式很有帮助。并不是因为宇宙需要分类，而是因为人类完全有能力在没有帮助的情况下把自己弄得一团糟，我想减少对这种才能的依赖。

1. AI 作为 工具（instrumental）

• 我有一个任务、一个约束、一个结果。
• 模型帮助我完成工作。
• 输出进入一个真实的过程，该过程会反馈：编译、测试、用户、生产日志、预算、截止日期，以及任何支配时间估算的阴暗实体。

现实是评判者。

2. AI 作为 神谕

• 这并不一定是因为我想让它如此，而是因为我在那些无法明确测试它是否错误，或“错误”甚至没有明确定义的情境中向它提问。
• 我们应该相信什么？
• 这意味着什么？
• 会发生什么？
• 什么是最好的？

这种区分并非道德层面的，而是关于 控制。

• 工具化让主动权保留在我手中。
• 神谕使用可以悄悄把主动权转移到一个能完整句子表达且永不紧张的存在上。

大多数麻烦始于这两种模式被混淆，而不巧的是，这正是默认设置。

---

Source: …

我的个人偏好：工具化

我自己的使用方式极度倾向于工具化。并不是因为我不受诱惑，而是因为我喜欢知道自己何时被欺骗。

• 工具化迫使面对后果。
• 它让我保持在反馈回路中。
• 如果模型有帮助，那很好。
• 如果它误导了我，我会很快付出代价。这个代价就是信息；它会更新我的理解。虽然烦人，但很诚实。

实际操作（非常不浪漫）

1. 勾勒重构路径或列出权衡 → 通过做乏味的部分来验证：阅读代码，运行测试，观察系统在面对现实时的表现。
2. 起草测试或枚举边缘情况（尤其是业务规则演变成传说的地方） → 将这些情况与实际需求、已有行为以及任何愿意透露信息的生产日志进行比对。
3. 向我解释一个模块 → 把输出当作拥有研究生词汇量的橡皮鸭：有帮助，偶尔精彩，但在法律上不可采纳。
4. 请求几个备选实现 只为观察模式，就像摇晃盒子听里面的响声。编译器成为测谎仪，运行时是法官，用户是陪审团（如果你细想，这个想法相当惊人）。

工具化并不会让我更聪明。它让我更快发现自己的错误所在。

这很重要，因为 没有反馈的速度只是一种加速，而加速只有在撞墙之前才显得惊人。

Oracle 使用：何时有意义

这些并不意味着使用 Oracle 没有价值——那样说是不诚实的。有些情境下“正确性”并不是目标，因为没有稳定的真实答案可以趋向。此时你在：

• 探索
• 绘图
• 从你不自然居住的角度审视问题

Oracle 在以下情况下是有意义的：

• 创意构思
• 创意探索
• 推测性思考
• 哲学
• 重新构架你已经承担责任的问题

当你所追求的是 视角，而非权威 时，它们非常有用。

系统的目的不是要“正确”，而是 拓宽地图，提供你未曾看到的路径，递给你一块奇怪的石头并坚持它是象征性的。

关键的区别在于 权威。安全的 Oracle 使用是借用视角，而不是外包判断。

安全 Oracle 模式

Oracle 的使用在 受限、复数、拥有 时最为安全。

如果我在自律，“安全 Oracle 模式”看起来像是：

• 请求相反的框架、反驳论点，或会改变答案的因素。
• 将假设摆上台面。
• 将事实与解释和价值主张分离（把它们混在一起，你就会得到一台烤面包机作为你的精神导师）。

当预言的使用变得不安全

当 信心取代问责 时，预言的使用就变得不安全。

尤其在：

• 政治
• 文化
• 伦理
• 身份
• 预测复杂的社会系统

这些领域基本上是每个人都拿着一把由观点铸成的剑，并坚持它是衡量工具的地方。它们包含事实，但并不能简化为事实，正是在这段空隙中，流畅性被误认为是真理。

最危险的预言失误并不戏剧化；它们是安静的。人们以为自己在使用工具，却发现系统表现得像预言。权威通过语气、连贯性以及人类深层的习惯——把“听起来合理”误当作“可靠”——悄然渗入。

经验法则

当输出更像是答案而不是建议时，请暂停并重新评估。

运用这条经验法则来保持工具与预言者之间的平衡，你就能保持属于自己的判断。

关于准确性、神谕使用与 AI 风险

“当它们不断出错时：如果我无法描述我怎么知道答案是错的，我就处于神谕模式。”

准确性 vs. 认识完整性

• 准确性 在存在稳定的外部参照时是有用的：

  • 桥要么稳固，要么不稳固。
  • 证明要么有效，要么无效。
  • 代码要么能够编译，要么不能编译。

• 在 艺术、文化、政治和伦理 中，准确性并非首要衡量标准。

  • 这些领域充满价值取向、需要解释、具有说服性且存在争议。
  • 产出并非单纯的“正确”或“错误”。

• 更重要的是 认识完整性：

  • 明确假设。
  • 将事实与解释区分开来。
  • 抵制把价值观洗白为事实的冲动。

---

流畅性陷阱

• 当“准确性”变得模糊时，流畅性会变得危险。
  • 连贯、自信的文字即使只是结构良好，也会让人觉得是真实的。
  • 模型可以像穿西装的自信成年人一样写作——现实并不在乎西装。

缓冲、模拟与元风险

• 生成式 AI 在意图与后果之间引入了廉价的缓冲：

  • 我们可以进行模拟、排练、生成备选方案，并在不立即付诸现实的情况下探索反事实。
  • 它并非无限，但在经济层面上与以往工具不可比拟（想象“一台望远镜 → 一千台望远镜，却没有一台对准鸟”）。

• 缓冲会改变行为：

  • 延迟的、软化的或抽象的反馈会鼓励更大的风险。
  • 系统的扩展速度超过理解；糟糕的想法存活时间更长（例如，一个“吸血鬼因为在 LinkedIn 上看起来很礼貌而被邀请进来”）。

• 延迟的后果 会集中出现，像是被遗忘贷款的利息。

  • 元风险不在于“AI 为我们做决定”，而在于“AI 让我们更容易回避感受决策的代价，直到代价不可避免”。

Tooling vs. Oracle Use

• Tooling 在缓冲区中更能存活，因为现实仍是裁判：

  • 输出仍由测试、生产、用户和失败来评估。
  • 错误仍具信息性；反馈回路保持完整。

• Oracle use 削弱了这种联系：

  • 说服取代验证。
  • 连贯性取代真理检验。
  • 自信取代学习。

• 危险不在于错误答案，而在于 unowned answers。

  • “模型这么说” 会分散责任。
  • 这并非恶意——只是便利，而便利正是文明常被毁灭的方式。

Trustworthiness ≠ Pure Accuracy

• 当人们说“让 AI 可信”时，他们往往指的是“让它更准确”。

• 在许多实际使用场景中，可信度关乎在不确定性下的行为：

  • 明确说明系统知道的内容与它在猜测的内容。
  • 不要把不确定性平滑成自信的语气。
  • 暴露假设。
  • 在可能的情况下邀请验证。
  • 拒绝成为意外的预言机器。

• 接地、检索和评估循环之所以重要，并不是因为它们让模型完美，而是因为它们在可能时把模型系在外部的东西上。

  • 可信应通过可追溯的过程来获得，而不是凭感觉。

• 感觉是我们最终崇拜烤面包机的方式。

Play: The Safe Exception

• 使用 AI 进行创意灵感、探索或娱乐通常是安全的，因为它不对真实性作出声明。

  • 没有任何事物依赖于输出；也没有授予任何权威。
  • 它是变体的源泉：提示、种子、火花。

• 在这种模式下，模型可以自由产生幻觉，因为我们没有把它当作决策引擎。

  • 可以把它想象成一个偶尔能写出不错段落的万花筒。

• 玩耍是有边界的：当幻觉不冒充指令时，它是无害的。

未来趋势

• Generation is trending toward commoditization：产生输出的成本将持续下降，变得更加普遍。

• 价值的重点转向 selection and accountability：

  • 保持主体性的系统和实践。
  • 揭示不确定性的工具。
  • 让人类对后果负责的机制。

• 有价值的层面不会是“更多内容”。

  • 它将是 better judgment under overload：帮助决定关注什么、忽略什么以及何时犹豫的工具。

• 这并不光鲜，也不是 oracle‑shaped，但它是 load‑bearing。

• 风险不在于我们构建了强大的生成器；风险在于我们以 将反馈转化为建议而非约束的方式 来构建它们。

结束语

这些都不是建议；它是我 选择遵循的约束。

• 我不想要替我做决定的系统。
• 我想要能够帮助我更快做决定的系统，并且诚实地说明它们知道什么、假设什么以及根本不可能知道什么。

我想要 反馈，而不是安慰。关键之处需要摩擦，安全之处可以放松。

在几乎所有事物都可以被生成的世界里，维护责任感可能是唯一真正稀缺的东西。