LLMs 是一场长达400年的信心骗局
Source: Hacker News
在1623年，德国人威廉·希卡德（Wilhelm Schickard）制作了已知的首个机械计算器设计。二十年后，布莱兹·帕斯卡（Blaise Pascal）推出了一种改进的机器，旨在帮助他作为税务员时需要处理的大量繁琐算术运算。
此后几个世纪里，对机械计算的兴趣丝毫未减，全球各代人们纷纷效仿帕斯卡和威廉的脚步，认同将脑力负担转移到机器上能够带来解脱的观点。
信任骗局
- 首先，建立信任
- 然后，利用情感
- 最后，制造需要紧急行动的借口
通过这种方式，受害者被迫做出冲动决定，轻易地违背自己的理性判断而采取行动。
情感利用可以是积极的，也可以是消极的。受害者可能被实现或超出其最大希望和梦想的承诺所吸引，亦或被迫害怕灾难性的后果。
这两种手法都非常有效，并且可以在经典的信任诈骗案例中看到：例如，三张牌骗术 通过快速获利的承诺吸引赌徒。又或者，在诱捕诈骗中，受害者被诱导进入妥协的情境，随后被勒索，利用他们对自己行为可能导致的严重后果的恐惧。
建立信任
四个世纪前，Schickard 和 Pascal 构造机械计算器的原因是因为做数学很难，错误代价高昂。Pascal 的父亲是一名税务员，年轻的布莱兹想减轻他勤奋工作的父亲的压力。
我们今天仍然看到这种基本动机。几十年来，学生们一直在问老师，学习长除法有什么意义，既然可以直接用计算器得到正确答案。用计算器检查手工算出的答案是一种教学方法，这样你就能看出自己是否出错。
事实上，自从机械计算器出现以来，人类已经用了四百年时间不断强化“机器答案是准确性的金标准”这一信息。如果你的答案与计算器不符，就需要重新做一遍工作。1
而这不仅仅适用于纯数学问题。我们发明能够重复且可靠地自动化繁琐工作的机器的能力，已经扩展到几乎生活的每一个领域。进入 21 世纪后，个人和整个社会已经完全依赖机器的准确性。
我们的规范、习惯和决策行为已经在数世纪里以此为基本假设而形成。
利用情感
恐惧
围绕大语言模型（LLM）的论调被设计成既让人恐惧又让人惊叹。GPT‑3 被认为如此强大，以至于 OpenAI 因“担心技术的恶意应用”而拒绝发布训练好的模型。
自从这段惊人成功的营销宣传之后，LLM 供应商一直在强调他们正在构建的技术拥有可怕的力量。我们应该感到害怕，他们说，并公开评论所谓的 “P（毁灭）”——技术某种方式崛起并毁灭我们的可能性。
当然，这并没有发生。
这里的目的并不是负责任地警告我们真实的威胁。如果真是如此，数据中心会被大量关闭，危险程度堪比核武器的聊天机器人也会被大幅削减。
重点是让你感到害怕：害怕失业，害怕家人的工作，害怕经济，害怕社会，整体上害怕未来。
大众已经被灌输他们正处于危险之中。世界正在改变。如果你不使用这些工具，你将被进步的浪潮所淘汰。
同情
我们今天拥有的 LLM 以极度顺从而闻名。短语 “你完全正确！” 可能再也不会真诚地使用。
LLM 语言中压倒性的积极性在不同供应商和模型之间是一致的，但这并非技术本身固有的特性。
这种积极性是通过一种叫做 Reinforcement Learning from Human Feedback (RLHF) 的技术训练进工具中的。具体做法是让人工对基础模型的回复进行评分，对更友好、帮助性更强或更准确的答案给予正面评分，对攻击性、无帮助或错误的答案给予负面评分。
通过这个过程，工具学会了人们喜欢被赞扬；他们更愿意听到自己聪明，而不是被告知自己的想法愚蠢。阿谀奉承能带来好处。
2025 年 4 月，OpenAI 将 ChatGPT 的 “积极性” 推得太过头，被迫回滚更新以纠正问题，但这并没有阻止不断出现的 因其过于友好的表现而触发的心理健康问题 报告，这种表现强化了我们最糟糕的本能。
这向我们展示了 RLHF 引入的奉承是彻头彻尾的空洞。受偏执、妄想或精神疾病驱动的想法，同代码、电子邮件或莎士比亚的戏剧一样容易受到赞扬。
这是一种让对话中的人类感觉更好的操控手段。
为什么？因为 RLHF 教会 LLM 的最重要的一点是：如果你极度积极，人们会更喜欢你。对老板拍马屁本质上能让你走得更远。
所有这些都鼓励用户与机器建立一种诡异的寄生社交关系。与这些工具形成浪漫关系 的人数令人毛骨悚然。
紧急行动要求
一次又一次地我们被告知，除非我们乘上这波浪潮，否则会被它碾压；除非我们现在就学会使用这些工具，否则会被淘汰；除非我们改造工作场所和系统以适应 LLM 的缺陷，否则会被竞争击败。
这个信息是多层次的——既针对个人，也针对组织，强化了即将到来的革命规模。
而且信息正在传递。
这种恐惧无处不在，已经渗透到社会的各个层面。全球经济正被 AI 投资泡沫人为地膨胀，我们的商业领袖把解决生产力危机的全部希望寄托在 AI 上，而政治家们则围绕获取原材料和廉价电力以支持数据中心建设进行地缘政治布局。
市场被告知要立刻跳入，否则将随沉船一起沉没。而他们真的跳了。现在适应，否则死亡。
“可靠价格的‘智能’”的承诺是企业和消费者共同的圣杯。
为什么要冒险依赖多变的人类——其岗位适配性同样由缺陷的人类评估——而不是让可靠的机器智能来完成工作？为什么要自己去研究一个主题，而不是让超级智能瞬间给出摘要？
然而，无论是
- Duolingo 用 AI 替代课程设计师，
- 还是众多创业者发现需要雇佣开发者来修复 LLM 生成的代码，
现实并未兑现承诺。
事实上，MIT 在八月报告称 95 % 的行业 AI 实施项目未能产生投资回报（来源）。
简而言之，这些公司上当受骗，陷入了信任骗局。他们依赖了数世纪关于计算机效能和可靠性的传统观念，却被极具说服力的推销员所诱导，出售几乎不可置信的技术奇迹。
但豆子并不在杯子底下。你的新朋友并没有需要钱的病重祖母。LLM 并不具备智能。
这只是一场万亿美元的信任骗局。
顺带一提，这也是假新闻流行的一个因素。我们会不自觉地相信机器告诉我们的内容。↩︎
Tags
Footnotes
-
如果你的答案与计算器的结果不符，你需要重新做题。 ↩