每天 80 亿 tokens 迫使 AT&T 重新思考 AI orchestration —— 并将成本削减 90%

Source: VentureBeat

Source: …

在 AT&T 扩展 Agentic AI

当你每天的平均 token 使用量高达 80 亿 token 时，规模问题就非常严峻。

AT&T 正面临同样的情况，首席数据官 Andy Markus 及其团队意识到，将所有任务都交给大规模推理模型既不可行，也不经济。

解决方案：多代理堆栈

• 使用 LangChain 重新构建编排层。
• 构建 “超级代理”（大语言模型）来指挥更小、面向特定任务的 工作代理。

“我相信 agentic AI 的未来是大量、大量、甚至更多的小语言模型（SLM）。在特定领域上，小语言模型的准确度几乎可以和大语言模型持平，甚至更好。” – Andy Markus

报告的收益

Ask AT&T 工作流

• 为员工提供 可视化拖拽式代理构建器，用于自动化任务。
• 代理调用 AT&T 专有工具套件（文档处理、自然语言转 SQL、图像分析）。

“工作流执行时，真正驱动决策的是 AT&T 的数据。” – Markus

• 人机交互：所有操作都有日志记录，数据被隔离，且强制基于角色的访问控制。

“事情确实会自动发生，但环路中的人仍然对整个过程进行监督和制衡。” – Markus

不盲目构建：可互换与可选模型

• AT&T 避免 “从头全部构建” 的思维模式。
• 依赖 可互换、可选择 的模型，绝不重新打造已成熟的商品。
• 快速迭代：“每周都有变化，有时一周会变化多次”。

评估亮点

• Ask Data with Relational Knowledge Graph 在 Spider 2.0 文本到 SQL 准确率排行榜上名列前茅。
• 其他工具在 BERT SQL 基准测试中也取得高分。
• 核心框架：LangChain + 微调模型（RAG、内部算法）。
• 与 Microsoft Azure 合作，实现向量库搜索功能。

指导原则

1. 准确性 – 在约束条件下追求最高可能的准确度。
2. 成本 – 让支出与价值成比例。
3. 工具响应性 – 确保低延迟和可靠性。

“有时我们把事情弄得过于复杂……有时我看到的解决方案被过度工程化。” – Markus

“构建者应思考某个工具是否真的需要具备 agentic 特性。使用更简单的单轮生成式方案能达到什么准确度？我们如何将其拆解为更小的块，以 更高的准确度 交付？” – Markus

大规模采用

• 100 000+ 名员工可以使用 Ask AT&T Workflows。
• > 50 % 的员工每天使用。
• 报告的生产力提升最高可达 90 %。

两种用户旅程

“即使是熟练的用户在最近的黑客马拉松中也倾向于低代码选项；尽管他们是强大的程序员，仍有超过一半的人选择了它。” – Markus

真实案例

• 网络工程师 工作流：
  1. Agent 1 – 关联遥测数据，识别问题，提取变更日志，打开故障单。
  2. Agent 2 – 提出解决方案，编写补丁代码。
  3. Agent 3 – 生成事后报告摘要并提供预防措施。

人类工程师监控整个链路，确保操作正确。

AI 驱动的编码：未来

• AT&T 正在将相同的“精小、专用”理念应用于代码生成，称之为 AI 驱动的编码。
• 类似检索增强生成（RAG）：开发者在 IDE 中使用 特定功能的构建原型 来决定代码的交互方式。
• 输出的是 结构化、可投产的代码，而非松散的代码片段。

AI 驱动的编码：游戏规则改变者

“达到生产级别”，并且可以在一次迭代中达到这种质量。Markus 说：“我们都使用过 vibe coding，这是一种具有代理特性的代码编辑器。”但 AI 驱动的编码“消除了在 vibe coding 中可能出现的大量来回迭代”。

他认为这种编码技术 “实质性地重新定义” 软件开发周期，最终缩短开发时间并提升可投产代码的产出。非技术团队也可以参与进来，使用自然语言提示来构建软件原型。

• 他的团队在 20 分钟 内构建了一个内部策划的数据产品；如果没有 AI，则需要 六周。

“我们用它开发软件，用它修改软件，用它进行数据科学，用它进行数据分析，用它进行数据工程，”Markus 说。“所以它是一个游戏规则改变者”。

所有引用和数据均归因于 Andy Markus 和 AT&T，来源于 VentureBeat 的报道。