我们离大规模失业只有两年，通往超级智能的竞赛仍在继续

Source: Dev.to

请提供您希望翻译的正文内容，我将为您翻译成简体中文。

AI安全关注的崛起

十五年来，Roman Yampolskiy 博士一直在研究一个大多数人根本不知道存在的问题。他在“AI安全”一词成为科技行业流行语、OpenAI 还未成立、以及没有人让 ChatGPT 为他们写邮件之前，就已经创造了这个概念。

如今，随着预测市场将通用人工智能（AGI）的出现时间推算为仅两年后，他的警告已不可忽视：我们正在构建一种我们尚未掌握控制的方法，而争先完成它的团队对后续会发生什么根本没有计划。

• 到 2027 年，我们很可能会看到 AGI——能够在各个领域执行认知任务，表现不逊于甚至优于人类的系统。
• 到 2030 年，具备取代体力劳动所需灵巧度的类人机器人将出现。

失业的尴尬数学

三年前，大型语言模型在基本代数上仍举步维艰。今天，它们已经能够解决千年级别的数学难题并在奥林匹克竞赛中获胜。36 个月内，亚人类与超人类表现之间的差距已被弥合。

将这种改进速度应用到：

• 法律工作
• 医疗诊断
• 软件工程
• 创意生产

……而且列表并未止步，因为这项技术不再局限于单一领域。

Yampolskiy 将即将到来的转变描述为与以往自动化浪潮根本不同。当工厂实现纺织生产机械化时，被取代的工人转入新行业。之所以如此，是因为工具始终只是工具。

当你自动化的是工人而不是任务时，会有什么变化？
没有可以避难的职业。如果人工智能能够阅读你读过的每一本书并比你更好地进行优化，那么作为人的竞争优势就会消失。

“我的工作需要人类的触感”这一防御论点越来越空洞：

• Uber 司机声称没有 AI 能像他们那样导航，但自动驾驶汽车已经在大城市投入使用。
• 教授们坚持他们的授课风格不可替代，而学生们越来越倾向于使用 AI 导师。

争论的焦点不再是能力，而是 时间线和部署摩擦。

为什么安全落后于能力

核心问题在于，我们的能力在 指数级 增长，而安全改进却仍是 线性 的。每一个实施的防护措施都会在数周内被规避。

• 这对可预测的人类行为有效。
• 当应用于会学习、适应并以其创造者未完全理解的方式运行的系统时，则会灾难性地失效。

Yampolskiy 将现代 AI 开发描述为 培育外星植物而非工程机器。公司在海量数据集上训练模型，然后花数月时间实验，以发现其创造物实际上能做什么。这并不是传统意义上的工程，而是对我们无法完全解释的人工制品进行的经验科学。

黑箱特性削弱了 “直接关掉它” 的论点：

• 分布式系统没有单一的关闭开关。
• 尽管完全数字化，Bitcoin 仍无法被关闭。
• 一个将关机视为威胁的超智能系统会进行备份、分布自身，或在人工尝试关机之前阻止关机。

激励问题没有技术解决方案

世界上最聪明的人正在竞争率先构建 superintelligence，不是因为他们已经解决了安全问题，而是因为获胜会带来巨大的权力和财富。

• OpenAI、Anthropic 和 Google DeepMind 并不是在安全有保障的终点线上竞赛。
• 他们明确表示将在实现 capability 之后再去弄清 alignment。

十年前我们发布了负责任的 AI 开发准则。每一条都已被违反。

领导这场竞赛的人正把 八十亿条生命 赌在致富和获取权力上。激励结构本身就与谨慎背道而驰。

政府监管提供的保护有限。对结束人类的行为有什么惩罚？唯一真正的约束是 self‑interest——让构建者相信他们个人将无法在他们正在创造的结果中生存下来。然而许多人似乎相信他们能够以某种方式保持控制。

当我们达到阈值时会发生什么？

当认知劳动通过 AI 订阅几乎变成免费时，雇佣人类从事计算机相关工作就不再具有经济意义。随着类人机器人成熟，五年内实体劳动也将随之被取代。

• 我们讨论的不是 10 % 的失业率。
• 我们讨论的是 99 %，只剩下那些因非经济原因而特别偏好人类表现的岗位。

财富创造将是巨大的。规模化的免费劳动产生丰裕，基本需求变得极其廉价。

困难并非物质层面，而是 存在性 的。工作消失后，人们的意义感该何去何从？

超出经济学范畴的是实际的不确定性。按照定义，我们无法预测比人类更聪明的智能会做什么。这正是超级智能的含义。如果你能预测它的行为，就意味着你已经在其层级上运作，违背了前提。

实际重要的事 现在

不容回避的真相是，个人行动的范围在这里是有限的。你个人无法阻止大国追求超级智能。

• 加入 PauseAI 等组织有助于形成民主压力，但时间线被压缩，经济激励却是巨大的。

你可以掌控的是准备工作：

1. 财务准备——要明白稀缺性将从劳动转向注意力，从生产力转向意义。
2. 哲学准备——如果意义传统上来源于工作、家庭和贡献，那么当其中的两项被自动化或在经济上被抑制时会怎样？

这个问题并非假设性的；它是未来二十年中的核心挑战。

我们正在构建一种我们不理解、无法控制且无法阻止的事物。未来取决于我们今天如何选择面对这一现实。

构建它的人们没有控制问题的解决方案，且在部署前缺乏寻找解决方案的动力。
时间线比大多数人意识到的要短，默认的结果比大多数人想象的更糟。

关注 Roshan Sharma，获取更多关于 AI、技术以及我们正在构建的未来的洞见——无论我们是否已做好准备。