AI 与 AI 代理的治理是什么？

发布: 1周前 (2026年1月28日 GMT+8 07:33)

8 min read

原文: Dev.to

Source: Dev.to

AI治理最近受到关注，因为企业需要安全的 AI 系统用于真实世界的应用。然而仍有许多人想知道治理对 AI 代理到底意味着什么。

在本文中，我们将：

什么是 AI 治理？

在其核心，AI 治理是一套政策、流程和控制措施，指导 AI 系统（模型、应用和代理）应如何安全、合规地构建、部署和运行。这些框架确保 AI 在引入和规模化时负责任——不出现安全漏洞、合规违规或声誉损害。

理论上它很直接；但在实践中并非如此。

AI 治理聚焦于少数子问题，这些问题随着 AI 代理的快速崛起才出现。由于 AI 治理仍相对新颖，现有框架（例如 SOC 2）仅在数据层面部分涉及它。

开发者和用户迅速接受了 AI 代理。它们的自主性和高度可定制性使其具有吸引力，但正是这些特性带来了新的安全和风险挑战。

风险类型	描述
数据风险	代理可能向缺乏适当授权的员工泄露敏感信息，导致监管处罚或合同受损。
变更风险	代理通常拥有写入权限，因此可能错误地更新外部系统（例如，发送电子邮件、发布未授权的 Slack 消息、删除工单或进行付款）。

缓解这些风险需要一个治理框架，明确界定并强制执行在整个代理生态系统中如何分配访问权限。

实施这些原则的责任在于客户，而不是供应商。供应商通常不愿对其应用程序或其代理所犯的错误承担责任。由于代理行为在很大程度上是不可预测的，企业必须自行承担防护措施。

示例： 许多供应商提供能够发送电子邮件或创建 Jira 工单的代理。若代理意外将敏感数据泄露到公共看板或将个人身份信息（PII）发送给错误的收件人，供应商不会承担法律费用。

因此，企业需要合适的工具来管理代理风险，尤其是面临数据泄露重大处罚的受监管公司。这一需求催生了第三方解决方案市场（例如 Credal），这些解决方案位于供应商和企业之间。

访问
- 代理必须获得的权限不能绕过对人类、服务器或设备施加的控制。
- 每个代理应有指定的所有者，并继承该所有者相同（或更少）的权限，遵循最小特权原则。
审计
- 必须跟踪代理活动，以便对错误或违规进行调查和复现。
- 与人类不同——你可能只会问“谁删除了这个表？”——代理需要确定性的监控来保持有用的历史记录。
Human‑in‑the‑Loop（人机交互，HITL）
- 对于关键操作，人在审阅预期行动的简要摘要后，应明确批准代理的访问。
- 这可降低灾难性错误的风险（例如，整个数据库被删除）。

下面我们将重点讨论 Human‑in‑the‑Loop 原则，因为风险和控制措施会因具体执行的操作类型而异。

每个操作都有不同的风险程度。我们可以将操作分为三类：

类别	风险等级	典型处理
只读	最低	人类所有者在其权限范围内授予访问权限。
低风险写入	低	在权限和审计正确设置的前提下，代理可以在无需等待人工批准的情况下继续执行。
高风险写入	高	企业应强制要求明确的人工批准。

只读操作 – 由人类所有者负责。通过治理框架，所有者必须在其权限范围内授予代理访问权限。
低风险写入操作 – 代理可以自主执行。只要权限和审计配置正确，为每个操作要求人工批准会比带来好处更具阻碍性。
高风险写入操作 – 企业应要求明确的人工批准。低风险与高风险操作的界限因组织而异。例如：
- 更新 Salesforce 记录 → 低风险
- 发送付款 → 高风险

在高风险场景中，提供批准的人类所有者承担责任。在低风险场景中，责任归于代理的所有者以及底层治理控制。

AI 治理对于大规模安全部署 AI 代理至关重要。通过建立明确的 access（访问）、auditing（审计）和 human‑in‑the‑loop（人机交互）控制，并按风险对行为进行分类，组织可以在降低数据和变异风险的同时，仍然享受自主 AI 代理带来的生产力提升。

像 Credal 这样的平台可以帮助将这些原则落地，为企业提供负责任治理 AI 代理所需的工具。在大型或受监管的企业中，集中式代理治理尤为关键；将实践制度化，例如定义高风险和低风险行为，有助于向监管机构展示可辩护性。

Credal 是一个 AI 治理与编排平台，提供即用型托管代理、内置审计、人机交互以及权限继承功能。它为代理设置环境和规则而不预设低风险与高风险行为或人机交互工作流——这些决定仍由企业自行把握。

如果您想了解更多关于 Credal 的信息，立即报名演示。