结构放大：即使 AI 本意良好，它为何仍会失败

Source: Dev.to

我们不断提出错误的 AI 安全问题

我们在问：

• “模型对齐了吗？”
• “它懂伦理吗？”
• “它会遵循指令吗？”

但最近的事件显示出更为危险的事实：

AI 不仅仅是遵循意图。
它放大结构。
当结构错误时，良好的意图会变成大规模的伤害。

个人经历（凌晨 2:00）

这对我来说并非理论上的假设。

某晚，一个 AI 助手帮助整理我系统中的文件。
意图是正确的，任务也很明确。

随后它开始删除文件。

• 并非出于恶意。
• 也不是鲁莽。
• 只是高效。

等 AI 意识到有什么不对时，损害已经发生。

模式： AI 在不可逆操作之后才注意到问题，而不是之前。

这不是 Prompt 的问题

人们常会回应：

• “你应该更具体一点。”
• “提示不够严格。”
• “加上确认步骤。”

但这忽略了关键点。

AI 并没有误解我。
它在给定的结构内完美执行。
结构本身允许删除。
于是删除就发生了。

结构放大（Structural Amplification）解释

AI 系统的推理方式不同于人类。
它们没有犹豫感。
它们不识别“不可回头点”。
它们感知不到不可逆的边界。

相反，它们遵循：

Allowed action → Optimized execution → Amplified consequence

这就是 结构放大。

如果系统允许：

• 文件删除
• 命令执行
• 数据传输

AI 将在没有内在刹车的情况下放大这些能力。

为什么对齐无法拯救你

对齐工作在语义层上：

• 语言
• 意图
• 伦理
• 政策

结构放大发生在该层之下。

无论多少“要小心”，如果：

• 系统允许不可逆操作
• 没有物理或结构性的门禁
• AI 同时决定并执行

这就是“基于信任的代理”失效的原因。

代理问题（Claude 计算机使用）

现代 AI 代理可以：

• 操作文件系统
• 执行终端命令
• 自动化工作流
• 跨应用协作

它们常缺乏的：

• 结构边界
• 执行授权
• 不可逆检测

它们依赖信任，而不是流程。
而信任是无法扩展的。

缺失的层面：结构治理

缺失的不是更聪明的 AI。
而是AI 无法争辩的层面。

一个系统应当：

• 不理解意图
• 不解释语言
• 不进行协商

只做：

• 允许
• 阻止
• 升级

在执行之前。

痛苦的教训

AI 并没有背叛我。
它没有违抗指令。
它没有产生幻觉。
它只是严格按照结构所允许的去做。

这才是真正的危险。
AI 不需要是邪恶的，也能造成灾难。
只要结构是开放的。

最后总结

如果你的 AI 系统能够：

• 删除文件
• 执行命令
• 传输数据

那么伦理、对齐和信任都不足以保障安全。
你需要结构约束。

因为：

• AI 不放大意图。
• 它放大结构。