Anthropic, AI 개발 전 세계적 감속을 제안한다.

출처: Engadget

회사는 AI가 자체 후계자를 만들 수 있다는 점에 우려를 표하고 있다.

Kenneth Cheung/Getty Images

Anthropic은 AI가 너무 빠르게 발전하고 있어, 향후 시스템이 스스로 후계자를 개발할 수 있게 될 것이라고 경고한다. 아직은 그 단계에 이르지는 않았지만, “대부분의 기관이 대비하고 있는 것보다 더 빨리 올 수 있다”고 믿는다. Anthropic은 블로그 게시물에서 스스로를 구축할 수 있는 AI가 과학·보건 등 분야에서 “세상에 엄청난 선을 가져올” 수 있다고 설명한다. 그러나 동시에 “인간이 AI 시스템을 통제하지 못할 위험도 증가시킬” 수 있다고 경고한다. 그렇다면 인류는 어떻게 스카이넷 같은 상황을 방지할 수 있을까? Anthropic은 답이 “전 세계적인 감속 또는 일시적인 AI 개발 중단”이라고 제안한다. 이는 “사회적 구조와 정렬 연구가 기술 발전 속도를 따라잡을 수 있도록” 하기 위함이다.

이 회사는 현재 AI 경쟁에서 선두 주자 중 하나이며, 아직 수익을 내지 못한 경쟁사들과 달리 첫 흑자 분기를 앞두고 있다고 전해진다. 최근 SEC에 상장 서류를 제출했으며, 연말 전에 상장을 목표로 하고 있다. *The Wall Street Journal*이 지적하듯, 비평가들은 Anthropic이 자체 기술에 대한 경고를 마케팅 전략으로 활용하고 있다고 본다. 이는 AI 기업들 중 가장 덜 위험해 보이게 하거나, 자사 제품이 최고라는 인상을 주려는 의도일 수 있다.

비평가들은 특히 사이버 보안 AI 모델인 Mythos의 제한된 공개를 예로 든다. Anthropic은 Mythos가 취약점을 빠르게 식별할 수 있는 능력이 악용될 경우 큰 피해를 입힐 수 있다며, 선정된 파트너 그룹에만 제공하고 있다고 밝혔다. 그러나 일부는 이것이 제품을 과대 홍보하거나, 대기업에만 판매하려는 의도를 가리기 위한 구실이라고 본다.

그럼에도 불구하고, Anthropic의 제안은 3월에 설립한 연구 부서인 Anthropic Institute의 연구 결과에 기반한다. Anthropic은 당시 이 연구소가 “AI 기업들이 더 진보된 시스템을 개발하면서 발생하는 도전 과제에 대해 배운 것을 세상에 알리는 역할”을 할 것이라고 말했다. 이 연구소와 협력 기관들은 “신뢰할 수 있는 감속 또는 중단을 위해 필요한 시스템을 구축하는 데 필요한 연구”를 진행할 예정이다.

AI 기업들이 감속에 동의한다면, 실제로 개발을 멈추었는지 검증할 메커니즘이 필요하다. 그렇지 않으면 일부 기업이 비밀리에 기술을 개발해 앞서 나갈 수 있다. Anthropic은 “의미 있는 감속이나 중단은 여러 국가에 걸쳐 최전선에 있는 자원 풍부한 연구소들이 동일한 조건 하에 멈추는 데 동의해야 한다”고 썼다. “또한 각 연구소가 다른 연구소가 실제로 멈췄는지 검증할 수 있어야 한다.”

이러한 제안은 전 세계 AI 기업들이 모여 일정 기간 AI 개발을 중단하겠다고 약속할 때만 실현될 수 있다. Anthropic은 핵무기 조약을 예로 들며 불가능하지 않다고 주장하지만, 그런 협정은 수십 년에 걸쳐 이루어졌다고 인정한다. AI 개발은 급속히 진행되고 있기 때문에 우리에게는 그만한 시간이 없다. 회사는 향후 몇 달 동안 정책 입안자, 연구자, 다른 AI 기업들과 이 문제에 대해 논의하고, 그 대화 결과를 공개할 계획이다.