你没有错误地提示它

Source: Dev.to

背景

我在收听 The Pragmatic Engineer 的 The Third Golden Age of Software Engineering 一集时，听到 Grady Booch 提到了一个名为 Victorian Engineering Connections 的网站——一个展示维多利亚时代工程师之间相互了解和影响的交互式图表。

与 Claude 的交互

在与 Claude 的一次对话中，我让它提醒我那个名字。Claude 把我指向了 sixdegreesoffrancisbacon.com。随后我提到在播客里听到 Grady Booch 谈到过该站点。Claude 给了我三个听起来合理但不正确的答案（链接是可用的，只是并非我寻找的站点）。当我输入实际名称时，Claude 立刻找到了它。

我在 Google 上搜索 victorianengineeringconnections.net，第一条结果是一篇评测该网站的博客文章，这证实了 Claude 的训练数据中确实包含了该站点的引用。

与《巴别图书馆》的类比

这次经历让我想到两个概念：

1. 《巴别图书馆》——一个想象中的图书馆，包含所有可能的文本字符串。
2. “你提示的方式不对。”——一种常见的说法，认为 LLM 失效是因为用户的提示不够好。

可以用来提示 LLM 的文本字符串几乎是无限的，而每一种提示都会产生不同的回应。从某种意义上说，LLM 就是一个巨大的《巴别图书馆》（带有一定随机性），每个人都有自己独特的索引。

提示与学科专业知识

LLM 之所以显得神奇的一个原因是，它们几乎可以回答我们所有的问题，给人一种“时刻就在你身边”的感觉。这种感知来源于 LLM 在海量数据上进行训练，能够生成看似合理的答案。

然而，人们常说：“LLM 对你不起作用，是因为你的提示方式不对。”如果 LLM 只对已经是学科专家的人有效呢？这些专家独特的提示方式——特定的文本字符串——可能正是通向正确答案的关键。