在假设 AI 会出错的前提下设计系统：面向 AI 辅助系统的弹性架构
I’m happy to translate the article for you, but I’ll need the full text of the post (the content you’d like translated). Could you please paste the article’s text here? Once I have it, I’ll keep the source link exactly as you provided and translate the rest into Simplified Chinese while preserving the original formatting and markdown.
弹性 AI 辅助架构
人工智能已从实验性增强快速演进为核心生产基础设施。它可以起草内容、审查代码、检测欺诈、推荐产品，并做出运营决策。然而，仍有许多团队在集成 AI 系统时，把它们当作传统的确定性服务来对待。
这种假设是错误的。
AI 系统本质上是 概率性的。它们可能出现幻觉、误分类罕见输入、随时间漂移，或以表面上看似正确的方式失效。构建弹性 AI 辅助系统的起点是思维方式的转变：假设 AI 会出错，并围绕这一现实来构建你的架构。
AI 系统的独特失效模式
传统软件会明显失败。 空指针异常会导致服务崩溃。数据库宕机会返回明确的错误。这些失败是可观察且显式的。
AI 系统的失效方式不同。 它们可能产生在语法上正确、逻辑结构完整且自信写出的输出——但却完全错误。失效模式常常与成功难以区分。这使得 AI 失效更具危险性，因为它们会悄然传播到下游系统和决策中。
弹性架构的起点是承认 AI 组件 不是确定性库。它们是概率性的协作者，其输出必须被视为建议而非保证。
将生成与验证分离
在 AI 系统中，最重要的架构模式之一是 生成与验证的分离。
- 生成 – 让模型产生输出。
- 验证 – 切勿让模型自行定义真相。要为其设置确定性的防护措施：
- 如果 AI 提取结构化数据，需要根据严格的模式和业务规则进行验证。
- 如果它给出推荐意见，在执行操作之前必须进行基于规则的检查。
- 如果它生成代码，则要进行静态分析并在沙箱中执行。
这种分层方法确保了 AI 的创造力能够与传统软件工程实践的可靠性相平衡。
优雅降级的设计
一个有弹性的系统在 AI 组件表现不佳或不可用时不会崩溃；它会 优雅降级。
- 如果摘要模型超时，返回原始文本。
- 如果推荐引擎产生低置信度的预测，回退到精选的默认选项。
- 如果 AI 驱动的分类器变得不稳定，将流量切换到更简单的基于启发式的系统。
用户应感受到智能程度的降低，而不是完整的失败。优雅降级能够保护信任。
超越延迟和错误的可观测性
监控 AI 系统不仅需要跟踪响应时间和 HTTP 状态码。仅靠性能指标无法揭示语义正确性。
实现 质量可观测性，可以包括：
- 接受率
- 覆盖（Override）频率
- 对输出进行异常检测
- 用户反馈信号
- 定期的人为审计
添加漂移检测机制，以监控输入数据分布和模型行为随时间的变化。缺乏面向领域的可观测性，细微的退化可能会一直未被发现，直至演变为系统性问题。
受限自主性与狭窄接口
授予 AI 系统的权限越广，风险面就越大。
- 约束自主性：使用结构化输出、明确的模式（schema）以及预定义的操作集合。
- 要求模型只能从受控的工具或指令列表中选择，而不是允许自由形式的执行。
- 窄化提示并明确合同可以减少歧义和不可预测的行为。
操作表面区域越小，评估风险就越容易。
人机交互作为设计层
人工监督常被视为模型改进前的临时措施。实际上，它往往是永久且有价值的架构层。
- 选择性审查：将高风险、高影响或低置信度的输出路由给人工，同时让低风险的情况自动流转。
- 使用置信度分数、模型分歧或异常检测来决定升级路径。
经过深思熟虑的人机交互系统在不牺牲可扩展性的前提下保持安全。
冗余与交叉验证
分布式系统依赖冗余来降低相关故障。AI 系统同样受益于这一原则。
- 组合多个模型。
- 使用确定性逻辑交叉检查输出。
- 使用轻量级验证模型来验证高风险响应。
组件之间的分歧成为 信号而非问题。冗余会增加成本，但在高风险领域它显著提升了弹性。
防御性数据和安全实践
AI 系统深度依赖其输入数据。未验证的输入、对抗性提示和数据漂移可能导致性能下降或引入漏洞。
- 将所有外部输入视为 不可信。在传递给模型之前进行清理和验证。
- 隔离执行环境，避免让生成的输出直接作为命令或代码执行。
- 监控分布转移和可疑行为。
随着 AI 能力的提升，遏制同能力一样重要。
文化韧性：为不完美而工程
弹性 AI 架构不仅是技术层面的——它也是文化层面的。
- 让人们习惯于 AI 系统偶尔会出现错误行为的预期。
- 对模型使用与对基础设施相同的严谨性：对提示词和模型进行版本管理，使用分阶段发布和金丝雀部署，保持回滚策略，并在 AI 引发的事件发生后进行事后分析。
将 AI 视为 生产依赖，而非实验性功能。
构建能够良好应对失败的系统
弹性 AI 架构的目标不是完美，而是遏制。错误会发生，模型会产生幻觉，数据会漂移。通过为优雅降级、可观察性、验证、冗余和人工监督进行设计，你可以确保故障是可检测、可控制且影响有限——让你的组织在不牺牲可靠性和信任的前提下，获得 AI 的收益。
ll drift.
What matters is whether those mistakes are observable, bounded, and recoverable.
The most powerful AI systems are not the ones that are smartest in isolation. They are the ones embedded within architectures designed for imperfection. Just as distributed systems assume nodes will fail, AI‑assisted systems must assume models will err.
In the end, the true mark of engineering maturity is not eliminating failure. It is designing systems that fail well.