我们只为格式化 JSON 文件而启动行星大小的大脑

Source: Dev.to

Overview

我们正在动用行星级的大脑只为格式化一个 JSON 文件。这就是 上帝模型谬误 的精髓。

我们正处于不安谷：在基准测试上达到 90 % 的表现，但系统在实际使用中仍显得笨拙，且没有任何东西能够在不进行大量提示调优或多轮交互的情况下真正工作。

过去八个月（以及我大部分积蓄）里，我一直在构建自己的生成式 AI 堆栈，以了解工程师是否还有未来，还是应该迅速转型为 LLM 包装器的创始人。以下是我现在的想法。

Historical Parallel

• $100 k 专用 Lisp 机器 被宣传为运行“真正的 AI”（专家系统）的唯一方式。
• 随后普通的 Sun 工作站以 $20 k 完成了同样的工作，所有 Lisp 机器公司几乎在一夜之间归零。

上帝模型（GPT‑5、Claude Opus、Grok‑4）是现代版的 Lisp 机器。
Nvidia H200 机架 是现代版的 Symbolics 盒子。

Emerging Architecture

• 小型路由器（1–3 B）→ 选择通道
• 检索器 → 抓取上下文
• 专才模型（7–70 B）→ 完成工作
• 合成器 → 美化输出

整个链路的成本大约是单次 405 B 调用的 1/100。

Two Paradigms

Monolith World

• 代价高昂的 token
• 编码简单

Chained World

• Token 几乎免费
• 工程地狱（路由、回退、延迟、可观测性、竞争条件）

Implications

• 构建面向用户的开放式 LLM 应用（如聊天机器人）将变得过于复杂。
• 当一款随意的 3–8 B 开放权重模型在 M5 / Snapdragon 上轻松实现我们目前为 $500 k+/月 支付的 95 % 功能时，整个前沿模型融资的马戏团将崩塌。

对 AGI 最大主义者而言： 过度投资于一个美好的想法是最难放手的事。

Call to Builders

魔法正在消亡。真正的工程终于可以开始了。这其实是个好消息。

你认为哪种乏味但高 ROI 的工作流能够在整合税下存活下来？