后端转向 AI 开发

Source: Dev.to

核心挑战：忘掉确定性

在使用大语言模型（LLM）后，我认为后端工程师转型中最难的不是数学——而是要忘掉确定性思维。

传统分布式系统中的确定性

• 在传统分布式系统中，输入 A 总会产生输出 B。
• 如果不是这样，就被视为 bug。

生成式 AI 的现实

• 使用生成式 AI 时，输入 A 可能今天产生输出 B，明天却产生完全不同的结构。
• 这打破了我们对大规模稳定性的所有认知。

实际影响

• 你无法为“氛围检查”编写标准单元测试。
• 即使使用严格的提示，也不能保证模型 100 % 输出有效的 JSON。
• 当推理提供商负载过高时，你无法预测延迟。

防御性架构方法

解决方案不是更好的提示工程，而是防御性架构。我们需要把重点从 “让模型完美” 转向构建弹性包装器：

• 模式验证器 – 确保输出符合预期结构。
• 熔断器 – 防止下游服务因延迟峰值或故障而受影响。
• 自动化评估流水线 – 在用户发现之前捕获回归。

将 LLM 视为不可信、高延迟的 API

把 LLM 当作不可信的、高延迟的第三方 API，而不是魔法盒子。