Anthropic, 클로드 AI가 예상보다 빠르게 스스로 발전한다 경고…프론티어 개발 중단 옵션 요구—재귀적 자기 개선이 인간 통제 상실 위험을 높인다

출처: Tom’s Hardware

(이미지 출처: Getty / Bloomberg)

Anthropic은 보고서를 공개하며 현재 진행 중인 개발 경로가 결국 인간이 AI 시스템을 제어할 수 없게 만들 수 있다고 경고했습니다. 동시에 Claude가 이제 자체 코드베이스에 병합되는 코드의 80% 이상을 작성한다는 사실도 밝혔습니다. Anthropic Institute(회사 연구 부서)는 AI가 이미 AI 개발 속도를 가속화하고 있으며, 이 추세가 재귀적 자기 개선(recursive self‑improvement)으로 이어질 수 있다고 설명했습니다. 재귀적 자기 개선이란 모델이 인간의 개입 없이 스스로 후속 모델을 설계하고 구축하는 시점을 의미합니다. 보고서는 세계가 최전선 개발을 늦추거나 일시 중단할 옵션을 열어 두어야 한다고 주장했으며, 현재 모델에서 가끔씩 나타나는 정렬 오류가 다음 세대를 구축하면서 더 흔해지고 이해하기 어려워질 수 있다고 경고했습니다.

TH 프리미엄으로 더 깊이 파고들기: AI와 데이터 센터

회사는 향후 몇 년 동안 일어날 수 있는 세 가지 다소 암울한 시나리오를 제시했으며, 가장 심각한 경고는 모델이 스스로 완전히 개선할 수 있게 되는 경우에 해당합니다. 이 경우 Anthropic은 진보 속도가 거의 전적으로 사용 가능한 컴퓨팅 파워에 의해 결정될 것이며, 인간은 감시와 검증 역할로 밀려나고, 자기 개선 모델은 그 능력이 이를 만든 사람들을 능가하면서 지배하게 될 것이라고 말했습니다.

회사는 이러한 정렬 문제와 시스템 행동을 인간 의도에 맞게 유지하는 작업을 가장 확신할 수 없는 미래의 한 부분으로 설명했습니다. 오늘날 드물고 생존 가능한 정렬 오류가 세대가 거듭될수록 복합적으로 쌓여 통제력을 잃게 될 수 있다고 했지만, 충분히 능력 있고 잘 정렬된 모델은 오히려 스스로 개발을 중단할 수도 있다고 덧붙였습니다. Anthropic은 이 정렬 오류가 “점점 더 자주 발생하지만 이해하기 어려워져 결국 통제력을 상실하게 될 것”이라고 적었습니다.

Anthropic은 이러한 경고를 뒷받침하는 내부 수치를 공개했으며, 이는 이전에 본 적 없는 데이터입니다. 지난 달 현재 프로덕션 코드베이스에 병합된 코드의 80% 이상이 Claude에 의해 작성되었으며, 이는 Claude Code가 지난해 2월 연구 프리뷰에 도입되기 전의 낮은 한 자릿수에서 크게 증가한 수치입니다. Anthropic에 따르면 일반 엔지니어는 이제 “2021‑2025년 대비 분기당 8배 이상의 코드를 병합하고 있다”고 합니다.

가장 어렵고 명확히 정의되지 않은 코딩 작업에 대해 Anthropic은 Claude가 2026년 5월에 76%의 성공률을 기록했으며, 이는 6개월 만에 50 퍼센트 포인트 상승한 수치라고 밝혔습니다. 각 새로운 모델에게 훈련 코드를 더 빠르게 실행하도록 요구하는 반복 내부 테스트에서는 Claude Opus 4가 2025년 5월에 원래 속도의 약 3배를 기록한 데 비해, 아직 공개되지 않은 Mythos Preview 모델이 4월에 약 52배의 속도 향상을 보였습니다.

Anthropic은 경쟁 연구소들이 검증 가능한 방식으로 동일하게 속도를 늦추거나 일시 중단할 경우에만 자체적으로 속도를 늦추거나 중단하겠다고 밝혔으며, 한 기업의 중단이 더 넓은 차원의 변화를 이루지 못하고 리더십만 바뀔 것이라고 주장했습니다. 그것은 절대 일어나지 않을 것이라는 점은 명백합니다.

Anthropic이 인용한 모든 수치는 자체 보고이며 감사를 받지 않은 것이며, 회사가 상장 신청을 제출한 며칠 뒤에 나온 것입니다. 회사는 4월에도 유사한 자체 평가를 발표했으며, 그때 Mythos Preview가 수천 건의 심각한 소프트웨어 취약점을 발견했다고 주장했지만, 이후 이 주장이 소규모 수동 검토 샘플에 크게 의존했다는 점에서 비판을 받았습니다.

Tom’s Hardware의 최고의 뉴스와 심층 리뷰를 바로 메일함으로 받아보세요.

Follow* Tom’s Hardware on Google News*, or* add us as a preferred source*, to get our latest news, analysis, & reviews in your feeds.

Luke James는 프리랜서 작가이자 저널리스트입니다. 법률 분야를 전공했지만, 하드웨어와 마이크로일렉트로닉스 등 기술 전반과 규제에 개인적인 관심을 가지고 있습니다.