Anthropic의 AI 자기 개선 경고에 숨은 메시지: 최첨단 AI 모델을 통제 상실 위험에 빠지기 전에 개발을 가속하려면 더 많은 연산력이 필요하다.

출처: Tom’s Hardware

(이미지 출처: Getty Images / Bloomberg)

몇 주 전만 해도 Mythos 모델이 너무 강력해서 공개할 수 없다고 말했던 회사가 이제는 AI 전체를 일시 정지해야 할지도 모른다고 말하면서, 동시에 AI에게 스스로를 구축하도록 가르치고 있다. 6월 4일, Anthropic은 보고서 “AI가 스스로를 구축할 때”를 발표했으며, 클로드가 현재 자체 프로덕션 코드베이스에 병합되는 코드의 80 % 이상을 작성하고 있다고 밝혔다. 이는 클로드 코드가 작년 2월 연구 프리뷰에 들어가기 전의 낮은 한 자릿수에서 크게 상승한 수치이며, 이 루프가 AI 개발을 가속화해 결국 인간이 구축 중인 시스템을 통제할 수 없게 될 가능성을 제기한다.

Anthropic Institute, 즉 회사의 연구 부서는 이 추세를 재귀적 자기 개선(recursive self‑improvement)의 초기 움직임으로 보고 있다. 이는 모델이 의미 있는 인간 개입 없이 자체 후속 모델을 설계하고 구축하는 시점을 의미한다. 연구진은 오늘날 모델에서 드물게 발생하는 정렬 오류가 “점점 더 자주 발생하고 이해가 어려워져 결국 통제력을 잃게 될 것”이라고 경고한다.

Luke James는 프리랜서 작가이자 저널리스트다. 그는 법률 분야 배경을 가지고 있지만, 모든 기술, 특히 하드웨어와 마이크로일렉트로닉스, 그리고 규제와 관련된 모든 것에 개인적인 관심을 가지고 있다.