对超级智能控制条件的重建

Source: Dev.to

概览

本文对能够保持对超出人类认知能力的系统的控制机制进行深入分析。

超智能的类型

作者区分了 快速型、集体型 和 质的 超智能，强调了每种类型独特的设计挑战。

物理约束 vs. 动机选择

讨论的关键要素是以下二分法：

• 对潜能的物理约束，和
• 选择动机并实施间接规范性的微妙过程。

智能爆炸的动态

文本详细讨论了智能爆炸的动态，分析了：

• 优化能量与系统阻力之间的关系，和
• 信息堆积的作用。

伦理考量

在伦理层面，作者涉及了：

• 背叛性逆转 问题，和
• 一致性外推意志，两者皆旨在防止一场破坏性的向下竞争。

安全发展框架

整体框架提供了一套全面的方法，用于机器价值论的安全发展以及全球在人工智能领域的协作。