AI 급성장 정책

출처: Hacker News

2026년 6월

반지의 제왕 부수적인 이야기 중 하나에서, 두 명의 호빗이 현명하지만 느긋한 살아있는 나무인 트리베어드를 깨워 숲을 베어내는 군대에 맞서게 하려 한다. 문제는 트리베어드가 호빗과는 전혀 다른 속도로 움직인다는 점이다. 그는 다른 나무에게 인사하는 데 하루 전체가 걸리기 때문에, 그와 동료들을 충분히 빠르게 행동하게 하는 것은 거의 불가능에 가깝다.

AI와 우리의 정치 제도와의 교차점은 호빗과 트리베어드의 관계와 비슷하게 느껴진다. AI는 번개 같은 속도로 발전하고 있다—불과 4년 만에 AI 모델은 겨우 일관된 코드를 한 줄 쓰는 수준에서 주요 AI 기업들의 대부분 코드를 작성할 수 있는 수준으로 성장했다(대부분의 코드를 작성하는 AI 모델). 생물학, 물리학, 수학, 금융, 법률, 번역 등 여러 분야에서도 비슷한 진전이 이루어졌다. 컴퓨팅 파워가 증가함에 따라 일반 인지 능력이 기하급수적으로 상승한다는 AI 스케일링 법칙은 이제 10년 이상의 실증적 증거를 가지고 있다. 이 스케일링 법칙이 1~2년만 더 지속된다면, 나는 이를 강력한 AI 혹은 “데이터센터 안의 천재 국가”라고 부른다.

반면 정책—특히 입법—은 매우 느리게 움직인다. 이는 종종 좋은 이유가 있다: 정부는 막강한 권한을 가지고 있으며, 그 권한을 성급히 사용하지 않는 것이 보통 최선이다. 하지만 시간 규모의 불일치는 여전히 고통스럽다: 의회가 행동을 취하는 데 몇 년이 걸리는 동안 AI는 장난감 수준에서 천재 국가 수준으로 급격히 변할 수 있다.

AI가 주요 상업 기술이 된 지 몇 년이 지난 지금, 책임 있게 다루고자 하는 우리에게는 딜레마가 찾아왔다. 우리는 급증이 어디로 향하는지 명확히 보았다: 몇 년 안에 AI가 핵무기가 지정학을 뒤흔들고 산업혁명이 모든 경제·사회 문제를 근본적으로 바꾼 것처럼, 정책 전반을 근본적으로 재편할 드문 기술 중 하나가 될 것이라고 강하게 의심했다. 그러나 당시 AI가 할 수 있는 일만을 바라보던 사람들에게는 그것이 최신 소비자 앱이나 암호화폐와 같은 평범한 기술처럼 보였다. 대부분의 정책 입안자와 기업에게 자유방임 태도 외에 다른 접근이 타당하다고 설득하기 어려웠다. 또한, AI의 급진적 효과가 아직 나타나지 않았고, 그 형태가 어떻게 될지 몰랐기 때문에, 행동 의지가 있더라도 올바른 정책을 설계하기가 어려웠다.

이러한 상황적 한계 속에서, 많은 안전 옹호자들(Anthropic 포함)은 지금까지 선택권을 보존하고, 미래에 빠른 대응을 준비하거나, 다가올 위험에 대한 통찰을 제공하는 정책 행동을 옹호해 왔다. 투명성 입법, 칩 수출 통제, AI가 노동에 미치는 영향을 데이터로 수집하는 것 등이 그 예다. 이것만으로는 충분하지 않지만, 당시 가능한 전부처럼 보였다.

하지만 최근 몇 달 동안 AI의 엄청난 힘과 위험에 대한 증거는 부인할 수 없게 되었다. 가장 전형적인 사례는 Claude Mythos Preview와 최첨단 모델이 사이버 보안에 극히 실질적인 위험을 초래한다는 사실이다(보안 위험 보고서). 이는 금융 부문, 핵심 인프라, 국가 안보를 위협할 잠재력을 만든다. Mythos Preview는 전 세계 사이버 보안 지형을 뒤흔들었다(공격 탐색기). 그보다 더 큰 의미는 AI 모델이 이제 전 세계 및 국가 전략적 차원의 도구가 되었다는 점을 의심할 여지 없이 증명했다. Mythos‑급 모델이 제시하는 사이버 위험은 우리가 마주해야 할 마지막 위험이 아니다. 나는 생물학적 위험이 곧 뒤따를 것이며, 심각한 AI 자율성 위험도 그리 멀지 않을 것이라고 믿는다¹.

우리는 이제 전 세계적으로, 그리고 집단적으로, 여기서부터 급격히 복합화될 위험과 기회를 다루기 위해 느리고 부실한 정책 체계를 가동해야 한다. 많은 정책 입안자들이 행동에 더 개방적인 모습을 보이고 있으며, 지난 몇 년간 우리가 주장해 온 입장에 동조하는 동료들을 보는 것이 고무적이다. 이는 좋은 일이나, 나는 이러한 초기 조치들이 AI의 급속한 진보에 비해 최소 1년 정도 뒤처져 있다는 점을 우려한다. 이 에세이는 그 격차를 메우려는 시도다: 현재 급증이 어디에 있는지, 그리고 그 순간에 맞서기 위해 필요한 집단 행동을 제시한다.

나는 AI 시대에 재구상이 필요한 다섯 가지 영구적인 정책 영역에 초점을 맞출 것이다: 규제와 공공 안전, 거시경제·세제 정책, 과학 혁신, 국가와 사회 간 권력 균형, 그리고 지정학. Anthropic이 미국 기업이므로 주로 미국 정책을 논의하겠지만, 대부분의 권고는 전 세계에 적용 가능하다.

이 에세이와 함께 Anthropic은 최첨단 모델 테스트에 관한 입법 제안과 직업 대체에 대한 정책 프레임워크를 발표한다. 우리는 이들에 대해 상당한 재정 지원을 약속한다. 앞으로 더 많은 일을 할 계획이지만, 이를 첫걸음으로 삼아 우리의 진지함을 알리고자 한다.

1. 규제와 공공 안전

새로운 기술이나 제품은 이익과 해악을 동시에 가지고 있어, 혁신과 안전 사이의 딜레마를 만든다. 제품을 규제하면 해를 입힐 가능성이 줄어들고 전 세계 삶의 질을 향상시키는 중요한 역할을 해왔지만, 동시에 이익을 직접 감소시키고 혁신을 간접적으로 억제할 수도 있다. 또한 규제자는 복잡한 경제적 트레이드오프에 필요한 정보를 충분히 갖추지 못한 경우가 많아, 규제가 비효과적이면서 부담이 될 수 있다는 하이에크적 관점도 있다. 이와 관련된 개념으로는 기술의 영향이 너무 늦게 나타나 관리하기 어려워지는 상황을 설명하는 콜링리지 딜레마가 있다.

이러한 역학은 2023‑2024년 AI에 크게 작용했다. Anthropic은 AI가 미래에 수백만 명을 위협할 수 있는 생물학적 무기나, 극단적인 경우 인류 자체를 위협할 수 있는 자율적 오작동을 만들 가능성이 있다는 점을 인지했다. 그러나 위험이 어떤 형태로 나타날지, 어떻게 테스트하고 완화할지, 실제로 어떻게 구현될지는 명확하지 않았다. 따라서 사전에 작성된 법안이 효과를 발휘하지 못하고, 실질적인 위험을 놓치면서도 의미 없는 혹은 낮은 가치를 가진 컴플라이언스 요구사항만 만들 위험이 높았다².

결국 우리는 그때의 올바른 접근법이 투명성이라고 결론지었다. AI 모델 개발자는 자신의 안전 절차와 모델에 대한 테스트, 그리고 중요한 안전 사고를 공개해야 한다. 이렇게 하면 대중과 학계가 위험이 나타나는 즉시 더 잘 파악할 수 있다. 위험이 보다 구체적이고 형태가 명확해지면, 투명성을 통해 얻은 증거를 바탕으로 가장 우려되는 위험을 정확히 겨냥한 스마트한 입법을 설계할 수 있다. 따라서 2025년에 Anthropic은 투명성 입법을 지원했고, 캘리포니아의 SB 53, 뉴욕의 RAISE, 일리노