Anthropic 为自己设下的陷阱

Source: TechCrunch

Overview

Friday afternoon, just as this interview was getting underway, a news alert flashed across my computer screen: the Trump administration was severing ties with Anthropic, the San Francisco AI company founded in 2021 by Dario Amodei and other former OpenAI researchers who left over safety concerns. Defense Secretary Pete Hegseth had invoked a national‑security law—one designed to counter foreign supply‑chain threats—to blacklist the company from doing business with the Pentagon after Amodei refused to allow Anthropic’s technology to be used for mass surveillance of U.S. citizens or for autonomous armed drones that could select and kill targets without human input.

它是一连串令人瞠目结舌的事件。Anthropic 现在将失去一份价值高达 $200 million 的合同，并且在特朗普总统于 Truth Social 上发布指示，要求所有联邦机构“立即停止使用 Anthropic 技术”后，还将被禁止与其他国防承包商合作。（Anthropic 随后表示将在法庭上挑战五角大楼，称供应链风险指定在法律上站不住脚，并且“以前从未公开适用于美国公司”。）

Max Tegmark has spent the better part of a decade warning that the race to build ever‑more‑powerful AI systems is outpacing the world’s ability to govern them. The Swedish‑American physicist and MIT professor founded the Future of Life Institute in 2014. In 2023, he famously helped organize an open letter—ultimately signed by more than 33 000 people, including Elon Musk—calling for a pause in advanced AI development.

他对 Anthropic 危机的看法毫不留情：该公司和其竞争对手一样，埋下了自身困境的种子。Tegmark 的论点并不是从五角大楼开始，而是从多年前的一个决定——整个行业共同选择抵制有约束力的监管。Anthropic、OpenAI、Google DeepMind 等长期承诺负责任地自我治理。本周早些时候，Anthropic 甚至放弃了其自身安全承诺的核心原则——即在公司确信不会造成伤害之前，不发布日益强大的 AI 系统的承诺。

Now, in the absence of rules, there’s not a lot to protect these players, says Tegmark. Below is an excerpt from that interview, edited for length and clarity. You can hear the full conversation this coming week on TechCrunch’s StrictlyVC Download podcast.

当你刚刚看到关于 Anthropic 的这条新闻时，你的第一反应是什么？

“通往地狱的道路是由好意铺成的。回想十年前，人们对我们将如何利用人工智能治愈癌症、促进美国繁荣、让美国强大感到兴奋，这真是有趣。而现在，我们看到美国政府因为这家公司不希望人工智能被用于对美国人的国内大规模监视，以及不希望能够自主——完全不需要任何人为输入——决定谁该被杀的杀手机器人而感到恼火。”

Anthropic 已将其全部身份定位为安全‑第一的 AI 公司，但它早在 2024 年就已与国防和情报机构合作。你认为这有矛盾吗？

“这确实是矛盾的。如果我要稍微带点讽刺地说——是的，Anthropic 在把自己包装成全力关注安全方面做得非常好。但如果你真正看事实而不是宣传，你会发现 Anthropic、OpenAI、Google DeepMind 和 xAI 都大谈他们关心安全。没有一家像其他行业那样支持有约束力的安全监管。而这四家公司现在都已经违背了自己的承诺。

首先是 Google——那句响亮的口号‘Don’t be evil（不作恶）’。随后他们把它丢掉了。接着又丢掉了另一项更长的承诺，基本上是说他们承诺不让 AI 造成伤害。他们把这项承诺抛弃，是为了把 AI 卖给监控和武器领域。OpenAI 直接把使命声明中的 safety（安全）一词删掉。xAI 关闭了整个安全团队。而现在 Anthropic 本周早些时候，又放弃了他们最重要的安全承诺——即在确信不会造成伤害之前，不发布强大的 AI 系统的承诺。”

“所有这些公司——尤其是 OpenAI 和 Google DeepMind，但也包括 Anthropic——一直在持续游说反对 AI 监管，声称‘相信我们，我们会自行监管。’他们成功地游说了。所以我们现在在美国对 AI 系统的监管，比对三明治的监管还要少。

你知道的，如果你想开一家三明治店，卫生检查员在厨房里发现 15 只老鼠，他不会让你卖任何三明治，除非你先把问题解决。但如果你说，‘别担心，我不卖三明治，我要卖给 11 岁孩子的 AI 女友，而这些已经与自杀有关，然后我要发布一种叫超级智能的东西，可能会推翻美国政府，但我对我的感觉很好，’检查员就得说，‘好吧，继续，只是别卖三明治。’”

有食品安全监管，却没有人工智能监管。

“我觉得，这正是所有这些公司都应共同承担责任的地方。如果他们当初兑现了关于优先考虑安全的承诺，今天的局面可能会大不相同。”

TechCrunch 活动

*“要是我们这么安全、规规矩矩、团结一致，然后去找政府说，‘请把我们的自愿承诺变成美国法律，连我们最马虎的竞争对手也必须遵守’——本来会是这样的结果。我们现在正处于完全的监管真空之中。我们都知道，彻底的企业特赦会导致什么：会出现沙利度胺，会有烟草公司向孩子推销香烟，会有石棉导致肺癌。所以他们自己抵制制定关于 AI 可以做什么、不能做什么的法律，现在正反噬到自己身上，真是讽刺。”

目前没有法律禁止制造用于杀害美国人的 AI，所以政府可以随时提出这样的要求。如果这些公司早些时候自己站出来说，‘我们想要这部法律’，他们就不会陷入这种困境。他们真是自找麻烦，自己踢了自己的脚。”

公司的反驳总是“与中国的竞争”——这合理吗？

让我们来分析一下。来自 AI 公司的说客们最常用的论点——他们现在的资金和人数已经超过了化石燃料行业、制药行业以及军工复合体的说客总和——是：每当有人提出任何形式的监管时，他们都会说，“但中国。”

中国实际上在做什么

中国正在全面禁止 AI 女友。并不仅仅是设定年龄限制——他们正考虑禁止 所有拟人化 AI。为什么？不是为了取悦美国，而是因为他们认为这正在毁掉中国青少年，使中国变得软弱。显然，这也在让美国青少年变得软弱。

当人们说我们必须加速研发超级智能，以便在与中国的竞争中取胜——而我们实际上并不知道如何控制超级智能，默认的结果是人类失去对地球的控制，交给外星机器——猜怎么着？中国共产党非常喜欢控制。谁会认为习近平会容忍某家中国 AI 公司制造出推翻中国政府的东西？绝不可能。

如果一家美国公司通过构建超级智能发动政变推翻自己的政府，这同样是对美国的国家安全构成威胁。

将超智能框定为国家安全威胁

这是一种引人注目的框架——把超智能视为国家安全威胁，而非资产。你认为这种观点会在华盛顿获得关注吗？

如果国家安全界的人士听到 Dario Amodei 的著名演讲——他在演讲中说我们很快会拥有一个 “数据中心里的天才之国”——他们可能会开始思考：等等，达里奥刚才用了“国家”这个词吗？ 也许这个“天才之国”应该被列入他们已经在关注的威胁名单，因为它听起来对美国政府构成威胁。

我认为，只要时机足够成熟，美国国家安全界的足够多人会认识到失控的超智能是一种威胁，而不是工具。这完全类似于冷战时期。那时我们与苏联进行经济和军事上的支配权竞争。我们美国人赢得了那场竞争，却从未参与第二场竞争——即看谁能在对方超级大国上留下最多的核弹坑。人们意识到那简直是自杀。没有人会赢。这里的逻辑同样适用。

这对 AI 发展速度意味着什么？

这对更广泛的 AI 发展速度意味着什么？你认为我们离你所描述的系统还有多远？

六年前，我认识的几乎所有 AI 专家都预测，我们离能够在人类水平上掌握语言和知识的 AI 还有数十年——可能是 2040 年，可能是 2050 年。他们全都错了，因为我们现在已经拥有了。

我们已经看到 AI 在某些领域从高中水平到大学水平、再到博士水平、甚至大学教授水平的进展相当迅速。去年，AI 在国际数学奥林匹克中夺得金牌，这几乎是人类任务的最高难度。我**写了一篇论文，与Yoshua Bengio、Dan Hendrycks以及其他顶尖 AI 研究者共同完成，给出了 AGI 的严格定义。根据该定义，GPT‑4 已经达到了27 %，GPT‑5 达到57 %**。所以我们还没到达终点，但从 27 % 到 57 % 的快速提升表明可能不会太久。

昨天在 MIT 给学生们上课时，我告诉他们，即使再花四年时间，这也意味着他们毕业时可能已经找不到任何工作了。现在就开始为此做好准备，绝对不是太早。

Anthropic 已被列入黑名单

Anthropic 已被列入黑名单。我很好奇接下来会发生什么——其他 AI 巨头会站在他们这边并说：“我们也不会这么做吗？”还是会有像 xAI 这样的公司举手说：“Anthropic 不想要那个合同，我们来接？”

编辑注：采访结束数小时后，OpenAI 宣布了它的 与五角大楼的（含技术保障的）自有协议。

昨晚，Sam Altman 公开表示他站在 Anthropic 那边，并且有相同的红线。我佩服他敢于如此表态。Google 在我们开始这次采访时仍未表态。如果他们继续保持沉默，我认为这对他们公司来说极其尴尬，而且他们的很多员工也会有同感。我们也还没有收到来自 xAI 的任何消息。所以这将会很有意思。基本上，这是一刻，所有人都必须表明立场……（采访在此处中断）。

有没有一种情况下结果实际上是好的？

有，这也是我以一种奇怪的方式保持乐观的原因。这里有一个显而易见的替代方案。如果我们开始像对待其他公司一样对待 AI 公司——取消公司特赦——他们显然必须在发布如此强大的产品之前进行类似临床试验的审查，并向独立专家证明他们知道如何控制它。然后我们就能迎来一个黄金时代，享受 AI 带来的所有好处，而不必担心存在主义的焦虑。这并不是我们现在走的道路，但它是可能的。