Context Rot：为什么 AI 会忘记你的完美提示

Source: Dev.to

Introduction

你正沉浸在一次编码会话中。你的 AI 助手在前一个小时里表现出色——理解你的需求，遵循你的编码风格，干净利落地实现功能。然后突然之间，它就像在和一条金鱼对话。

每一个新请求都会引入 bug。它忽视了你一开始设定的约束。你发现自己一次又一次地重复相同的指令，心想：“你到底在听我说话吗？”

如果这听起来很熟悉，你并不孤单。更重要的是，你并没有疯。

Tokenization

下面是实际发生的情况。AI 并不像人类那样直接处理文本。在它能够理解你的话之前，所有内容都会被转换成 tokens（令牌）。可以把它想象成把美元钞票投进街机代币机，只不过你投进去的是单词而不是钱。

Example

Input: "hello world"
Output: 3 tokens

一般来说，一个 token 大约等于 3/4 个单词或 4 个字符。不同模型使用不同的分词算法，这就是为什么相同的文本在不同提供商那里会得到不同的 token 数量。

如果你使用的是 LLM 的 API 或 CLI 版本，你是按 token 计费的：

• GPT‑4o：每百万输入 token $3， 每百万输出 token $15
• GPT‑4：每百万输入 token $30， 每百万输出 token $60

但成本并不是唯一的顾虑。

Context Rot

想象这些 token 正在一条固定容量的传送带上滚动。随着你输入更多单词，旧的 token 被向前推移。当传送带满了，最前面的 token 就会掉下来——被遗忘。

你 20 分钟前精心打造的完美提示？你分享的关键错误信息？如果它们已经被推离了传送带，它们就从 AI 的记忆中消失了。

这就是 context rot，它解释了为什么你的编码助手在对话进行到一半时会出现失忆现象。

What You Can Do About It

好消息是？一旦你了解了背后的原理，就可以顺势而为，而不是逆流而上。我整理了一些在长时间编码会话中拯救我理智的策略。

接下来：实用技巧，帮助你管理 context rot，让 AI 助手在整个开发工作流中保持专注。

本文是我的 “Learning Out Loud” 系列的一部分，我会在其中分享真实编码经历中的开发者洞见。你也可以在 LinkedIn 上观看视频版。关注我，获取更多实用的 AI 开发技巧。