认识 TOON：为 AI 构建的 Token-First 数据格式

Source: Dev.to

TL;DR

• AI 模型思考的是 标记（tokens），而不是字符。
• JSON 在语法上浪费了标记。
• TOON 去除了这些噪音，提供 更低成本、更好输出和更可用的上下文。
• JSON 仍然适用于 API；TOON 则在 AI 系统内部使用。

什么是 TOON？

TOON（Token‑Oriented Object Notation） 是一种轻量级、指令式的数据格式，专为 基于标记的 AI 系统 设计。
它不使用繁重的语法（{}, :, ,, " "），而是侧重于：

• 有意义的标记
• 通过空白实现清晰的层级结构
• 人类可读、AI 友好的结构

同样的数据，两种格式

JSON

{
  "task": "analyzeResume",
  "input": {
    "experience": "2 years",
    "skills": ["React", "JavaScript", "Tailwind"]
  }
}

TOON

task analyzeResume  
input  
  experience 2years  
  skills React JavaScript Tailwind  

噪音更少。含义相同。更适合 AI。

为什么需要 TOON？

因为 大语言模型不在乎标点符号——它们在乎标记。

JSON 在 AI 系统中的问题

• 语法占用了大量标记
• API 成本更高
• 输出经常出现破损
• 流式传输支持差
• 可用的上下文窗口更小

TOON 如何解决这些问题

• 去除语法垃圾
• 与 LLM 的标记化保持一致
• 安全支持流式传输
• 提升输出可靠性

TOON 的效果如何？

标记减少（实际情况）

相同数据下 减少 35–45% 的标记。

大规模成本节约

示例

• 每天 1,000 次 AI 请求
• 每次约 1,200 个标记

每月节省约 1400 万标记 → 约 40% 的 AI API 成本下降。

TOON 如何提升 AI 训练与 LLM 使用

训练数据

更干净的样本意味着更好的嵌入和更低的微调成本。

intent createUser  
input  
  name Kiran  
  role frontendDeveloper  
output  
  status success  

标记更少，噪音更低，学习信号更好。

Prompt Engineering（提示工程）

LLM 对指令式格式的遵循度通常高于严格的 JSON。

task analyzeFrontendProject  
constraints  
  maxWords 100  
input  
  stack React Tailwind  
  experience 2years  
output  
  summary  
  improvements  

模型输出

JSON 常因缺少逗号或大括号而中断。
TOON 能优雅降级，即使只得到部分内容也仍可使用。

score 82
feedback Clean architecture and reusable components

JSON ↔ TOON 转换策略

TOON 并不是 在所有场景下都替代 JSON。

最佳实践架构

User → TOON → LLM → TOON → Parser → JSON (用于 API / 存储)
内部 AI 通信 → TOON
外部合约 & API → JSON

这样既能提升成本效率，又不失兼容性。

行业影响与经济增长

TOON 发挥作用的场景

• AI 代理和自主工作流
• 基于 LLM 的 SaaS 平台
• 微调流水线
• 实时聊天系统
• 边缘与嵌入式 AI

商业与经济收益

• 降低基础设施成本
• 响应更快
• 每次请求可使用更多上下文
• AI 行为更可靠
• 更好的可扩展性和利润率

在大规模使用时，标记效率直接转化为 盈利和增长。

关键优势

• 减少 35–45% 标记
• 降低 30–40% API 成本
• 可用上下文提升约 40%
• 输出失败率下降
• 友好的流式传输
• 易于解析
• 更好地遵循指令

演示用例

工具调用

tool sendEmail  
params  
  to user@gmail.com  
  subject Interview Update  
  urgent true  

代理记忆

memory  
  user Kiran  
  skill React  
  lastAction buildResume  

实现要点

TOON 解析规则

• 换行 = 新语句
• 第一个标记 = 键
• 缩进 = 嵌套层级
• 剩余标记 = 值

简单伪代码

Read line
Split by space
First token → key
Remaining tokens → value
Indentation → hierarchy

无需复杂解析器。没有严格的失败机制，易于恢复。

何时使用 TOON？

适合使用 TOON 的场景

• 基于 LLM 的应用
• AI 代理和工作流
• 重提示系统
• 流式 AI 输出
• 对标记敏感的流水线

不建议使用 TOON 的场景

• 公共 REST API
• 浏览器原生数据交换
• 标准化程度高的集成

最后思考

JSON 是为人类而建。

TOON 是为 AI 而建。

如果 AI 以标记为思考单位，那么我们的内部数据格式也应如此。

交流讨论

• 你会在自己的 AI 系统中尝试 TOON 吗？
• 是否应该正式推出 AI 原生数据格式的标准？
• 想要一个开源的 TOON 解析器吗？

让我们一起构建更聪明、更便宜、更优秀的 AI 🚀