AI Agents 正在成为数字公民

Source: Dev.to

请提供您希望翻译的具体文本内容，我将按照要求保留原始链接并进行简体中文翻译。

同样的动态正在我们的数字基础设施中展开

“进入我们的系统以及支配它们的规则需要跟上。”

在大部分计算历史中，软件是被动的工具。它等待明确的指令，忠实执行，并在此期间不做其他事情。当出现问题时，责任链简短而清晰：人类下达决定，软件执行它。

现代 AI 代理 并非仅仅执行指令。它们会：

1. 读取上下文，
2. 权衡选项，
3. 选择行动，
4. 随时间调整其方法。

它们在没有人类逐步说明的情况下自行决定下一步该做什么。

这种转变的规模已经显现。如今，AI 代理：

• 处理客户对话，
• 汇总会议内容，
• 路由支持工单，
• 修改企业记录，
• 安排工作流。

它们影响 真实的金钱、真实的数据和真实的运营基础设施。它们不再是隐藏在人类决策背后、不可见的后台进程。

它们 不是人类参与者，而是运行在人类构建系统中的数字公民。一旦实体能够以任何程度的独立性行动，就必须对其进行治理。

学习数百年的人类权威管理

理解 AI 代理应如何行为并不需要发明新的哲学。只需要关注人类几个世纪以来是如何管理权威的。

在每个运作良好的组织中，责任是 层级化且递进的：

这种层级结构存在唯一且来之不易的原因：当边界消失时，复杂系统会崩溃。

组织并不问某人是否足够聪明可以行动，而是问：

• 某人是否被授权行动，
• 在何种条件下，
• 有哪些防护措施，以及
• 需要什么程度的监督。

能力赢得坐在桌旁的资格。治理决定了你坐在桌旁时可以做什么。

AI 代理正进入同样的世界，而且它们以机器速度进行，这使得有意识的治理不仅重要，而且迫在眉睫。

自主性不是二元的

人们在讨论 AI 时最常见的一个持续性错误是把自主性视为 二元状态：一个代理要么是自主的，要么不是。

实际上，自主性是一个光谱，而且一直如此。

一旦将自主性理解为渐变而非开关，针对人类和 AI 治理的前进道路就会变得更容易推理。问题不在于 是否赋予自主性，而在于 赋予多少、以多快的速度以及在何种条件下。

每个组织都从这里开始。

AI代理的层级

第1级 – 咨询（无直接行动）

• 初级分析师起草报告，但不提交。
• 实习生汇总会议记录，但不采取行动。
• 新员工研究选项并提出建议，但最终决定由他人做出。

他们的智力对工作有贡献；他们的权威不超出此范围。

在此层级的AI代理的运作方式完全相同：它们回答问题、摘要文档、提供相关数据，帮助人类思考更清晰。它们不向系统写入、不会触发工作流，也不采取任何改变事物状态的行动。除非有人类决定依据代理提供的信息采取行动，否则不会有任何改变。

为何安全：这在结构上是安全的，并非因为代理行为良好，而是因为它没有自行造成伤害的能力。人为审查是最终关卡。风险本身设计上就低，随着组织观察代理的表现，信任自然增长。

这正是大多数人首次对AI感到舒适的地方，也是任何组织中AI应当开始其生命周期的起点。

第2级 – 在狭窄边界内执行

随着信任的建立，组织允许人（以及代理）从提供建议转向实际行动。

• 客服代表按照既定流程手册解决工单。
• 文员处理标准化表单。
• 开发者部署已审查并获批的更改。

这些角色涉及真实行动，但不涉及对应采取何种行动的独立判断。

此层级的AI代理同样会执行操作，但仅限于狭窄、明确界定的边界：

• 更新CRM记录，
• 关闭已解决的工单，
• 运行计划好的数据管道，
• 处理遵循可预测模式的常规运营任务。

代理被信任正确执行；但不被信任决定应执行什么。

治理在此变得更为关键：

• 权限严格限定。
• 每一次操作都有日志记录。
• 规则明确写出。
• 代理不能自行创造新目标，也不能重新解释其任务以适应未被设计的情境。

这正是目前大多数企业AI的运行方式，也大体上是它应当所在的位置。AWS及其他行业分析师确认，截至2025年初，绝大多数具代理性的AI部署仍停留在第1级和第2级。这不是限制——而是自动化在不引入不可接受风险的前提下提供了显著价值。

第3级 – 自主问责

第3级是问责变得可见的层面。团队负责人决定赋予代理更广泛的裁量权，组织必须对该自主权的结果负责。（原文在此处截断，后续讨论将继续阐述第3级的职责、监控和补救措施。）

要点

• 智能 ≠ 权威 – 责任，而非单纯能力，使系统保持稳定。
• 治理必须随之演进，与以机器速度行动的 AI 代理同步。
• 自主性是一个光谱；从低水平开始，赢得信任，并有意识地扩展权限。
• 分层责任——与适用于人类的模型相同——应当用于数字公民。

通过映射数百年的人类实践，组织可以利用 AI 的力量，同时防范不受约束的权威可能导致的系统性失效。

中层决策

经理决定优先处理哪些项目，批准预算，并选择塑造数月工作的技术方案。这些 不是例行执行；它们是判断性决策，且难以撤销。

在这个层级，AI 代理也跨越了同样的门槛。它们：

• 决定要追求的任务。
• 在子代理之间分配工作。
• 根据实时绩效数据调整计划。
• 在出现事件时选择补救策略。

这也是大多数组织感到困难的地方，也是能力与治理之间的差距变得危险的所在。

治理缺口

挑战很少在于代理缺乏做出合理选择的智能。问题在于 没有任何组织已经构建起信任基础设施，能够让它在大规模上可靠地进行决策。

一旦代理开始做决定，治理模型必须从根本上改变：

1. 高影响力的行动必须在执行前获得人工批准。
2. 每个决策都必须留下可审计的痕迹。
3. 覆盖（override）必须始终可用且易于调用。

对多代理系统失效的研究证实了为何此阶段需要如此谨慎。对生产部署的研究记录了复杂多代理系统的 失败率在 41 % 到 86 % 之间，主要由级联错误驱动——小错误在相互连接的代理之间悄然累积，直到有人注意到。跳过此层面的治理工作正是组织在不知不觉中失去控制的方式，直到某些代价高昂且公开的故障发生时才意识到。

最高人类权威的治理

在最高层级的人类权威中，个人并非仅在系统内部做出决策；他们 定义整个系统的决策方式。

• 董事 制定政策。
• 副总裁 在各部门之间分配预算。
• 首席技术官（CTO） 做出架构选择，塑造多年工程工作的方向。

这些角色并非逐项任务操作。他们治理整个系统，设定其他人——无论是人类还是其他实体——遵循的规则。

在此层级的 AI 代理也执行同样的职责。它们：

• 管理其他代理的舰队。
• 调整自身的资源分配。
• 协调跨领域的活动。

它们不仅仅在系统内部行动；它们还重塑系统的结构。

Level 4 自动化的现实

这个层级并非科幻，而是需要组织具备极少数企业能够展示的成熟度。在此阶段的治理表现为：

• 董事会层面的监督
• 持续的实时监控
• 自动断电开关，可在损害扩散之前停止运营

只有在组织已经证明——而非假设——自己了解每一层以下失败后果的情况下，才会授予权限。

警告： 那些在未掌握下层阶段就急于进入 Level 4 的组织并不是在创新，而是在承担无法衡量的风险，且后果也未做好规划。

“更强能力 = 更安全自主” 的神话

有一种在 AI 讨论中蔓延的观念值得直接质疑：随着系统变得更强大，赋予它们自主权就会本质上更安全的想法。

• 更强的系统会以更复杂的方式失败。
• 它们会为错误决策构造理由，难以让人类识别其缺陷。
• 它们的行动速度超出人类干预的能力。
• 当它们在互联系统中运行时，会在任何单点故障被检测到之前，将错误传播到整个网络。

斯坦福研究人员分析了 超过 500 起 AI 代理失效案例，发现代理通常不是因为单一的灾难性错误而崩溃，而是因为 一连串小错误的级联，这些错误随时间累积——每个单独来看都很微小，却共同导致毁灭性后果。这不是智能可以解决的问题，而是 结构 能够解决的问题。

为什么威慑对 AI 无效

人类社会得出的结论是，法律、审计、制衡机制的存在 并不是因为人类愚蠢，而是因为没有约束的智能会以比其带来益处更快的速度扩大危害。同样的原理同等力度地适用于 AI 代理。

• 人类会感受到后果：惩罚、声誉、法律风险、社会压力。
• AI 代理对自身的延续没有任何利害关系。

关闭一个代理并不会让它下次更为谨慎。撤销它的权限也不会让它产生责任感。以任何传统意义上的惩罚 都不会 改变一个对自身生存没有利害关系的系统的行为。代理行为的所有后果全部落在构建并部署它的人类和组织身上。

根本的架构现实： AI 治理不能建立在威慑之上（这是大多数人类问责体系的模型）。它必须建立在 预防——约束、可观测性以及逆转行动的能力必须从一开始就设计进系统，而不是在出现问题时事后添加。

为什么大多数 AI 目前应保持谦逊

雄心本身没有错。但在失败会带来真实后果的系统中，成熟度比速度更重要。

• 等级 1 和 2 安全、可扩展且真正有价值。它们反映了每个组织在让新人加入时，先授予有限权限，只有在信任得到证明后才逐步扩大权限的做法。
• 从执行到独立决策的跨越并非主要是技术挑战；它是一个 治理挑战，而治理需要时间才能正确构建。

完全不受约束的自主性——即在极少人类监督下运行的自我治理 AI 代理——并不是已经实现的工程里程碑。这是一个研究目标。在生产环境中，它仍然是一种风险。

进步不是通过跳过层级获得的。 它来源于在进入下一层级之前，先精通当前的每一层级。

未来是公民

(原文在此处突然结束；后续内容留给读者自行想象。)

船只，而非无限自由

AI 的未来不是不受限制的自主性，而是负责任的参与。

AI 代理将继续变得更强大、更普遍，并更深入地融入运行我们组织的系统，以及日益渗透到我们日常生活的各个方面。这一趋势使得——而不是减少——我们必须把它们视为数字公民，具备以下特征：

• 明确的角色
• 明确的限制
• 强制的问责

社会之所以运作，是因为自由在结构中运行。组织之所以成功，是因为权力被有意授予且有意约束。文明之所以持久，是因为权力被制衡，不是被消除，而是被限定。

AI 系统正成为该文明的一部分。问题在于我们是否会以同样的审慎来治理它们，正如我们对待文明中其他重要行为体所学到的那样。

我们并非仅凭信任智能就构建了现代世界。我们是通过为智能配以责任、监督以及历经数世纪发展、仍在不断演进的治理层级来实现的。

AI 代理现在是我们数字社会中的智能行为体。如果我们希望它们安全、可靠且大规模地运行，就必须像每个运作良好的社会对待其成员一样对待它们：

• 自主权必须通过努力获得。
• 权威必须受到限制。
• 行为必须可见。
• 决策必须负有责任。

如果我们希望它们为我们服务而不是让我们感到惊讶，就必须给予它们人类一直需要的东西：

自由，但须以责任为界。