构建在财务上可扩展的 AI 产品，而不仅仅是技术上可扩展

Source: Dev.to

推理成本

构建很便宜，推理却不便宜。

大多数 AI 讨论都聚焦在模型、提示和架构上，但真正的限制往往出现在上线之后：推理成本。

• 随着使用量的增加，AI 系统的费用会变得更高。
• 费用是按交互计费，而不是按部署计费。
• 范围不明确的功能在大规模时会受到惩罚。

如果在早期没有考虑推理策略，一个技术上可行的产品很快就会变得在财务上不可行。

过度工程最伤人的地方

团队往往过早地采用复杂的 AI 系统：

• 在不了解真实使用情况之前就构建多代理工作流。
• 在没有明确检索需求的情况下使用沉重的 RAG 流水线。
• 始终保持推理在线，而本可以用简单逻辑实现。
• 到处添加 AI，而不是只在真正需要的地方使用。

这些出于好意的选择会把产品锁定在高额、持续的成本中，后期很难再解脱。

缺失的一层：产品与品牌系统

产品清晰度是控制 AI 成本的关键因素。当用户体验、语言和品牌系统不明确时：

• 用户会过度使用 AI 功能。
• 输入变得嘈杂且低效。
• 推理量在没有提升价值的情况下增长。

明确的工作流、刻意的触发点以及精心设计的界面可以减少不必要的 AI 调用——同时提升结果。好的设计不仅是审美，更是成本控制的手段。

我对可持续 AI 产品的思考方式

1. 工作流即产品

AI 应该支持特定的决策或行动——而不是作为通用能力存在。如果去掉 AI 并不影响工作流，那么它可能还不该出现。

2. 推理应当是有意的

把 AI 调用当作计量资源来对待：

• 在有意义的操作后才触发 AI。
• 在可能的情况下缓存结果。
• 使用最便宜且能完成任务的模型。
• 在适当时延迟或批量进行推理。

3. 先从狭窄开始，再逐步增加复杂度

先交付最小可用的 AI 功能。真实的使用数据会告诉你哪些地方真的需要更高的复杂度——哪些只是理论上的需求。

改变结果的实际转变

在一个项目中，我们最初计划使用多层次、功能丰富的复杂 AI 架构。结果我们只交付了一个聚焦于单一高价值用户操作的 AI 工作流。结果是：

• 推理成本更低。
• 用户行为更清晰。
• 支持问题更少。

原本计划的多数复杂度被证明是多余的，使系统能够在没有财务压力的情况下扩展。

真正的扩展难题

AI 产品的扩展不仅是技术挑战，更是产品、设计和财务的挑战。把 AI 当作基础设施——有范围、刻意且可度量——的团队能够构建更持久、成本更低且真正服务用户的产品。

我很好奇其他人是如何在产品设计中考虑推理策略的。

Neural Method