你的AI怎么能在这么小的体积下知道这么多？

Source: Dev.to

AI 如何神奇地“读懂”你（无需庞大的信息堆）

有没有想过，你手机里的 AI 小伙伴是如何在一句凌乱的话中准确预测你的意思的？它并不是像过去的 Google 那样在庞大的数据库中挖掘。现代 AI——ChatGPT、Claude 或任何其他大型语言模型（LLM）——体积轻巧、训练充分、且更聪明。它不再去寻找关键词；它在进行一次高风险的单词猜测游戏，靠概率和隐藏的关联来驱动。

传统搜索引擎

想象一下传统的搜索引擎：你输入“best pizza recipe”，它会在数百万页面中扫描这些确切的词语，找到匹配后直接返回。这种方式僵硬且所需的基础设施可能大到一个足球场。

AI 如何学习词语关系

AI 的工作原理完全不同。它从数十亿条互联网句子中学习词语之间的关系。它并不是存储每一种可能的词对（那几乎不可能），而是把模式压缩成 权重——表示词语共同出现频率的数字。

• “Pizza” 常常和 “cheese”、 “oven”、 “yum” 搭配出现。
• “Quantum” 则常和 “physics”、 “weird” 关联。

这些权重就像是嵌入在一个小模型里的快捷方式，甚至可以装进笔记本电脑。

预测机器

AI 本质上是一个预测机器。它逐词生成答案，依据概率来猜测下一个词会是什么。

1. 输入： “How do I make …”
   模型评估可能的续写。比如 “Pizza” 可能得到很高的概率（例如 0.7），而像 “a bomb” 这样的不相关词几乎得不到分数。
2. 选择： 模型选取 “pizza”，因为权重暗示这很可能是一个食谱。
3. 上下文更新： 在出现 “make pizza dough” 之后，“flour” 的概率会飙升，引导后续词语的选择。

这就像是开了挂的自动完成——在无数示例上训练后，它“知道”医生会 prescribe 药物，却不会 paint 壁画。底层数学（transformers）在毫秒级完成所有这些计算。

结论

没有关键词列表或完整句子被存储——只有数以百万（甚至数十亿）计的调优权重将概念关联起来，这些权重在训练期间学习得到。像 GPT‑3 这样的模型拥有 175 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

AI 之所以让人觉得像是有预知能力，正是因为它对人类喜爱的模式进行概率上的“猜测”。没有神奇的数据库——只有让闲聊变得自然的概率魔法。