5 个防止 LLM 失去情节的技巧

Source: Dev.to

此帖子改编自我的 Learning Out Loud 视频系列的第 2 集。如果你错过了我关于为什么 LLM 响应会随时间退化的第一篇文章，请先阅读它，以了解 token、上下文窗口和上下文限制。

我们都有过这种经历——你开始与 LLM 对话，它给出很棒的回答。可是 30 分钟后，它就像在和金鱼聊天一样。以下是我总结的五个策略，帮助你让对话从头到尾都保持高效。

1. 在提示之前先规划

创建一个快速需求文档实际上可以节省时间。

把它想象成项目启动会议：

• 你想要构建或解决什么？
• 有哪些具体的需求或约束？
• 有哪些工具是你想要或需要使用的？
• 成功的标准是什么？

它不需要很花哨——只要几条要点就能帮助你和 LLM 保持在正确的轨道上。

2. 结构化你的提示

LLM 在提示不是一大段文字时能够更好地解析意图。使用：

• 用标题划分不同章节
• 用项目符号列出列表
• 需要时使用 HTML 元素

因此，我把所有提示写在 markdown 文件中。查看 Obsidian 作为一个很棒的工具。

3. 为新主题重新开始对话

Don’t try to cram everything into one endless chat thread. Break conversations into focused sessions:

• New feature? Start a new chat.
• Different problem? Start a new chat.

Pro tip: Copy the requirements document from strategy #1 into each new conversation or save it to your AI assistant’s saved context. This way every session starts with the same context about your project.

4. 关注上下文使用情况

许多大型语言模型（LLM）可以显示你使用了多少上下文窗口。我每天使用 Amazon Kiro CLI，实验性功能会直接在终端中显示上下文使用百分比。启用一次后，你就再也回不去了。

当你接近上限时：

• 请 LLM 总结你已经讨论的内容。
• 保存关键要点。
• 用该摘要开启一个新的会话。

5. 使用对话检查点

不时地，询问你的 LLM：“我们仍然在朝着我想要完成的目标前进吗？”

如果回复开始变得奇怪或离题，那就是你应该开启新会话的信号——把它想象成一次快速的站立会议检查。

额外功能： Amazon Kiro CLI 最近添加了类似 Git 版本控制的功能，用于整个对话历史。

什么对你有效？

这五个策略在我日常使用大型语言模型（LLM）的工作中产生了巨大的影响。我一直在学习，所以很想知道你是否有我没有提到的技巧。请在下方留言告诉我！

这篇文章是我的“Learning Out Loud”系列的一部分，我会分享最近学到的东西。在 LinkedIn 上关注我以观看视频版本。