Anthropic, AI 개발 전 세계적 중단 촉구… ‘자기 개선’ 위험 경고

Source: Slashdot

Anthropic은 선도 AI 연구소들에게 개발 속도 완화를 고려하도록 촉구하며, 최첨단 모델이 인간의 직접적인 개입 없이도 스스로 개선할 수 있을 정도로 빠르게 발전하고 있다고 경고했습니다. 회사는 전 세계적으로 AI 개발을 일시 중단하거나 속도를 늦출 수 있다면 “아마도 좋은 일”이 될 것이라고 말하면서, 모델 능력 가속에 관한 내부 데이터를 인용했습니다. 블로그 글에서 발췌하면: 공개 벤치마크와 Anthropic 내부에서 아직 공개되지 않은 데이터를 활용해 The Anthropic Institute는 AI가 이미 AI 시스템 개발을 가속화하고 있음을 보여주고 있습니다. 한 가지 예를 들면, 오늘날 Anthropic 엔지니어들은 2021‑2025년 대비 분기당 평균 8배에 달하는 코드를 배포하고 있습니다.

이 글에서 논의된 기술적 추세는 앞으로 몇 년 안에 AI 시스템이 훨씬 더 강력해질 것임을 시사합니다. 이러한 추세는 막대한 영향을 미칩니다. 스스로를 구축할 수 있는 AI는 기술 역사상 중대한 전환점이 될 것이며, 과학·보건·그 외 분야에서 세상을 크게 이롭게 할 수 있습니다. 그러나 완전한 재귀적 자기 개선은 인간이 AI 시스템을 통제하지 못할 위험을 증대시킬 수도 있습니다. 시스템이 자체 후계자를 완전히 만들 수 있게 되면, 우리가 이를 보호하고 감시하며 행동을 형성하는 방식이 훨씬 더 중요해집니다. […]

이 기술의 개발을 효과적으로 늦춰 그 거대한 파급 효과를 다룰 시간을 확보할 수 있다면, 이는 아마도 좋은 일일 것이라고 생각합니다. 하지만 속도 완화가 단지 가장 신중하지 못한 행위자들에게 기술 격차를 메우게 할 뿐이라면, 모두의 안전이 오히려 감소할 수 있습니다. 전 세계적인 협조 메커니즘이 없으면 기업과 정부는 경쟁 및 지정학적 압력 속에서 안전에 관한 어려운 결정을 내려야 할 것입니다.

우리는 사회 구조와 정렬 연구가 기술 발전을 따라잡을 수 있도록, 최첨단 AI 개발을 늦추거나 일시 중단할 옵션을 전 세계에 제공하는 것이 세상에 도움이 될 것이라고 믿습니다. Anthropic Institute는 다수와 협력해 연구를 수행하고, 신뢰할 수 있는 속도 완화·중단을 위해 필요한 시스템을 구축하는 데 필요한 조치를 취할 것입니다. 이러한 시스템은 최첨단 AI 개발자들이 전 세계 다른 개발자들이 실제로 멈추거나 속도를 늦췄는지를 검증할 수 있게 하며, 악의적인 행위자가 협조된 속도 완화를 구실로 비밀리에 앞서 나가는 것을 방지합니다. 만약 그런 시스템이 존재한다면, 우리는 다른 최첨단 개발자들이 검증 가능한 방식으로 동일하게 속도를 늦추거나 일시 중단할 경우, 우리 역시 속도를 늦추거나 일시 중단할 것이라고 기대합니다.