Anthropic가 스스로 만든 함정

Source: TechCrunch

번역을 진행하려면 번역하고자 하는 전체 텍스트를 제공해 주시겠어요? 텍스트를 주시면 요청하신 대로 한국어로 번역해 드리겠습니다.

Overview

금요일 오후, 이 인터뷰가 시작되려는 순간, 내 컴퓨터 화면에 뉴스 알림이 번쩍였다: 트럼프 행정부가 2021년 다리오 아모데이와 안전 문제로 떠난 전 OpenAI 연구원들이 설립한 샌프란시스코 AI 기업 Anthropic과의 관계를 끊겠다고 발표한 것이다. 국방부 장관 피트 헤그세스는 국가 안보법—외국 공급망 위협에 대응하기 위해 고안된 법—을 적용해 Anthropic을 펜타곤과의 거래에서 블랙리스트에 올렸다. 이는 아모데이가 Anthropic의 기술이 미국 시민에 대한 대규모 감시나 인간의 개입 없이 목표를 선택하고 살상할 수 있는 자율 무인 드론에 사용되는 것을 거부했기 때문이다.

그것은 충격적인 연속이었다. Anthropic은 이제 2억 달러에 달하는 계약을 잃게 될 뿐만 아니라, 트럼프 대통령이 Truth Social에 모든 연방 기관에 “즉시 Anthropic 기술 사용을 중단”하라고 지시한 뒤 다른 방위 계약업체와의 협업도 금지될 예정이다. (Anthropic은 이후 펜타곤을 법정에 도전하겠다고 밝히며, 공급망 위험 지정이 법적으로 근거가 없으며 “미국 기업에 공개적으로 적용된 적이 없는” 조치라고 주장했다.)

맥스 테그마크는 지난 10년 넘게 AI 시스템을 점점 더 강력하게 만들려는 경쟁이 세계가 이를 통제할 능력을 앞서가고 있다고 경고해 왔다. 스웨덴‑미국 출신 물리학자이자 MIT 교수인 그는 2014년에 Future of Life Institute를 설립했다. 2023년에는 엘론 머스크를 포함해 33 000명 이상이 서명한 공개 서한을 조직해 고도 AI 개발을 일시 중단할 것을 촉구했다.

그는 Anthropic 위기를 가감 없이 평가한다: 이 회사는 경쟁사들처럼 스스로 만든 문제의 씨앗을 뿌렸다. 테그마크의 주장은 펜타곤에서 시작되지 않는다. 몇 년 전 산업 전반에 걸쳐 규제에 저항하기로 한 결정—즉, Anthropic, OpenAI, Google DeepMind 등은 오랫동안 스스로 책임 있게 자율 규제를 약속해 왔다. 이번 주 초 Anthropic은 자체 안전 서약의 핵심 원칙인 점점 강력해지는 AI 시스템을 해를 끼치지 않을 것이라고 확신할 때까지 공개하지 않겠다는 약속을 철회하기도 했다.

이제 규칙이 없는 상황에서 이러한 기업들을 보호할 수 있는 것이 거의 없다고 테그마크는 말한다. 아래는 인터뷰에서 발췌한 내용으로, 길이와 명료성을 위해 편집된 것이다. 전체 대화는 이번 주에 TechCrunch의 StrictlyVC Download 팟캐스트에서 들을 수 있다.

방금 Anthropic에 관한 이 뉴스를 보셨을 때, 첫 반응은 무엇이었나요?

“지옥으로 가는 길은 선한 의도로 포장되어 있다. 10년 전을 돌아보면, 사람들이 인공지능을 만들어 암을 치료하고, 미국의 번영을 키우며, 미국을 강하게 만들 수 있다는 것에 흥분했었다는 것이 정말 흥미롭다. 그리고 지금 우리는 미국 정부가 이 회사가 AI를 미국인들의 국내 대규모 감시용으로 사용하기를 원하지 않고, 인간의 개입 없이 스스로—전혀 인간 입력 없이—누구를 죽일지 결정하는 킬러 로봇을 원하지 않는다는 이유로 화를 내는 상황에 처해 있다.”

Anthropic는 안전‑우선 AI 기업이라는 정체성을 전적으로 내걸었지만, 최소 2024년부터 방위 및 정보 기관과 협업해 왔습니다. 이것이 전혀 모순되지 않을까요?

“모순됩니다. 조금 냉소적인 시각을 더한다면—맞아요, Anthropic는 자신들을 안전 중심으로 마케팅하는 데 아주 능숙했습니다. 하지만 주장보다는 실제 사실을 보면 Anthropic, OpenAI, Google DeepMind, xAI 모두 안전에 대한 관심을 많이 이야기해 왔습니다. 이들 중 어느 하나도 다른 산업에서처럼 구속력 있는 안전 규제를 지지해 온 적이 없습니다. 그리고 이제 네 회사 모두 스스로 한 약속을 깨고 있습니다.

먼저 Google이 있었습니다—‘악행을 하지 말라’라는 큰 슬로건이 있었죠. 그 뒤에 그 슬로건을 포기했습니다. 그리고 AI로 해를 끼치지 않겠다는 더 긴 약속도 포기했는데, 이는 감시와 무기용 AI를 판매하기 위해서였습니다. OpenAI는 사명 선언문에서 안전이라는 단어 자체를 삭제했습니다. xAI는 전체 안전 팀을 해체했습니다. 그리고 이제 Anthropic은 이번 주 초에 가장 중요한 안전 약속—해를 끼치지 않을 것이 확실해질 때까지 강력한 AI 시스템을 출시하지 않겠다는 약속—을 포기했습니다.”

이러한 눈에 띄는 안전 약속을 한 기업들은 어떻게 이런 상황에 처하게 되었을까?

“이 모든 기업들—특히 OpenAI와 Google DeepMind, 그리고 Anthropic까지—는 AI 규제에 반대하는 로비를 지속적으로 해왔으며, ‘우리를 믿어라, 우리가 스스로 규제할 거다’라고 말했습니다. 그리고 그들은 성공적으로 로비를 했습니다. 그래서 현재 우리는 미국에서 AI 시스템에 대한 규제가 샌드위치에 대한 규제보다 적습니다.

알다시피, 샌드위치 가게를 열고 보건 검사관이 주방에서 쥐 15마리를 발견하면, 그들은 문제를 해결할 때까지 샌드위치를 팔게 하지 않습니다. 하지만 ‘걱정 마세요, 저는 샌드위치를 팔지 않을 거고, 11세 아이들을 위한 AI 여자친구를 팔 거예요. 이 AI는 과거에 자살과 연관된 적이 있고, 곧 ‘초지능’이라는 것을 출시할 건데, 이는 미국 정부를 전복시킬 수도 있지만, 저는 제 일에 대해 좋은 느낌을 가지고 있습니다’ 라고 말하면, 검사관은 ‘좋아요, 진행하세요, 단지 샌드위치는 팔지 마세요’라고 말해야 합니다.”

식품‑안전 규제는 있지만 AI 규제는 없습니다.

“그리고 이것은, 제가 느끼기에, 이 모든 기업들이 정말로 책임을 공유하는 부분입니다. 과거에 그들이 안전을 우선시하겠다는 약속을 지켰다면, 오늘 우리는 아주 다른 상황에 있었을지도 모릅니다.”

TechCrunch 이벤트

“너무 안전하고 얌전하게 행동하고, 뭉쳐서 정부에 가서 ‘우리의 자발적 약속을 받아서 가장 부실한 경쟁자들까지도 묶는 미국 법으로 바꿔 주세요’라고 말한다면, 대신 그런 일이 일어났을 것이다. 우리는 완전한 규제 공백에 있다. 그리고 기업 전면 사면이 있을 때 무슨 일이 일어나는지 우리는 안다: thalidomide, 담배 회사가 아이들에게 담배를 권하고, 석면이 폐암을 일으킨다. 그래서 AI에 대해 무엇이 허용되고 허용되지 않는지를 규정하는 법을 반대했던 그들의 저항이 이제 되돌아와 물고 있는 것이 아이러니하다.

현재 미국인을 죽이는 AI를 만드는 것을 금지하는 법은 없기 때문에 정부가 갑자기 그것을 요구할 수 있다. 만약 기업들이 미리 나서서 ‘우리는 이런 법을 원한다’고 말했더라면, 지금과 같은 곤경에 빠지지 않았을 것이다. 그들은 정말 스스로 발을 찧었다.

기업들의 반론은 언제나 중국과의 경쟁이다 — 과연 타당한가?

분석해 보겠습니다. AI 기업 로비단체들이 가장 흔히 내세우는 주장—현재 화석 연료 산업, 제약 산업, 군산 복합체 로비단체를 합친 것보다 더 많은 자금과 인원을 보유하고 있습니다—는 규제 제안이 나올 때마다 “하지만 중국이다.” 라고 말합니다.

실제로 중국이 하고 있는 일

중국은 AI 여자친구를 전면 금지하는 절차를 진행 중입니다. 단순히 연령 제한을 넘어 all anthropomorphic AI 전부를 금지하려 하고 있습니다. 왜일까요? 미국을 달래기 위해서가 아니라, 이러한 현상이 중국 청년들을 망치고 국가를 약화시킨다고 판단하기 때문입니다. 물론 이는 미국 청년들도 약화시키고 있습니다.

사람들이 ‘중국에 이기기 위해 초지능을 개발해야 한다’고 말할 때—우리는 초지능을 어떻게 제어할지 모르는 상황이며, 기본적인 결과는 인류가 지구에 대한 통제권을 외계 기계에게 빼앗기는 것입니다—그게 무슨 말이냐면, 중국 공산당은 통제를 매우 중시한다는 겁니다. 시진핑이 중국 AI 기업이 정부를 전복시킬 무언가를 만들도록 허용할 것이라고 생각하는 사람은 있을까요? 전혀 그렇지 않습니다.

미국 기업이 초지능을 구축해 쿠데타를 일으켜 자국 정부를 전복한다면, 이는 미국에게도 국가 안보 위협이 됩니다.

Framing superintelligence as a national‑security threat

그것은 설득력 있는 프레이밍입니다 — 초지능을 자산이 아니라 국가 안보 위협으로 보는 것이죠. 워싱턴에서 이 견해가 확산되는 걸 보고 있나요?

If people in the national‑security community listen to Dario Amodei’s famous speech — where he says we’ll soon have a “country of geniuses in a data center” — they might start thinking: wait, did Dario just use the word “country”? Maybe that “country of geniuses” belongs on the same threat list they’re already keeping tabs on, because it sounds threatening to the U.S. government.

국가 안보 커뮤니티의 사람들이 Dario Amodei의 유명한 연설을 듣는다면 — 그가 곧 “country of geniuses in a data center” 라고 말한 부분 — 그들은 생각할지도 모릅니다: 잠깐, 다리오가 방금 “country”라는 단어를 썼나요? 어쩌면 그 “country of geniuses”는 이미 감시 중인 위협 목록에 포함될 수도 있습니다, 왜냐하면 미국 정부에 위협적으로 들리기 때문이죠.

I think fairly soon enough, enough people in the U.S. national‑security community will realize that uncontrollable superintelligence is a threat, not a tool. This is totally analogous to the Cold War. There was a race for dominance — economic and military — against the Soviet Union. We Americans won that one without ever engaging in the second race, which was to see who could put the most nuclear craters in the other superpower. People realized that was just suicide. No one wins. The same logic applies here.

나는 충분히 빠른 시일 내에, 미국 국가 안보 커뮤니티의 충분히 많은 사람들이 통제할 수 없는 초지능이 도구가 아니라 위협이라는 것을 깨달을 것이라고 생각합니다. 이는 냉전과 완전히 유사합니다. 소련과의 경제·군사적 우위 경쟁이 있었습니다. 우리는 두 번째 경쟁, 즉 어느 쪽이 다른 초강대국에 가장 많은 핵 크레이터를 만들 수 있는가에 참여하지 않고도 승리했습니다. 사람들은 그것이 단순히 자살이라는 것을 깨달았습니다. 승자는 없습니다. 같은 논리가 여기에도 적용됩니다.

AI 개발 속도에 대한 의미는 무엇인가요?

이 모든 것이 AI 개발 속도에 대해 더 넓게 의미하는 바는 무엇인가요? 여러분이 설명하고 있는 시스템에 우리는 얼마나 가까이 와 있나요?

6년 전, 내가 알던 거의 모든 AI 전문가들은 인간 수준의 언어와 지식을 마스터할 수 있는 AI가 나오려면 수십 년이 걸릴 것이라고 예측했습니다—아마 2040년, 어쩌면 2050년일지도 모른다고. 그들은 모두 틀렸습니다. 왜냐하면 우리는 이미 그 수준에 도달했기 때문입니다.

우리는 AI가 고등학교 수준에서 대학 수준, 박사 수준, 그리고 일부 분야에서는 대학 교수 수준까지 매우 빠르게 발전하는 것을 목격했습니다. 작년에는 AI가 국제 수학 올림피아드에서 금메달을 차지했는데, 이는 인간 과제가 가장 어려운 수준에 해당합니다. 저는 Yoshua Bengio, Dan Hendrycks 및 다른 최고 수준의 AI 연구자들과 논문을 썼습니다. 그 논문에서는 AGI에 대한 엄밀한 정의를 제시했으며, 그에 따르면 GPT‑4는 27 % 수준, GPT‑5는 57 % 수준에 해당합니다. 아직 도달하지는 않았지만, 27 %에서 57 %로 이렇게 빠르게 상승한다는 점은 그때까지 오래 걸리지 않을 수도 있음을 시사합니다.

어제 MIT에서 학생들에게 강의할 때, 저는 “설령 4년이 걸리더라도, 그때가 되면 졸업 후에 직장을 구하기 어려울 수도 있다”고 말했습니다. 이를 대비하는 것이 너무 이른 시기는 아닙니다.

Anthropic이 이제 블랙리스트에 올랐습니다

Anthropic이 이제 블랙리스트에 올랐습니다. 다음에 무슨 일이 일어날지 궁금합니다 — 다른 AI 거인들은 그들과 함께 서서 “우리도 이걸 하지 않을 거야”라고 말할까요? 아니면 xAI 같은 기업이 손을 들어 “Anthropic이 그 계약을 원하지 않았으니 우리가 받아들이겠다”라고 할까요?

*편집자 주: 인터뷰 몇 시간 후, OpenAI는 **펜타곤과의 자체 계약(기술적 안전장치 포함)*을 발표했습니다.

지난 밤, Sam Altman이 나와서 Anthropic을 지지하고 같은 레드라인을 가지고 있다고 말했습니다. 그런 용기를 보여준 그에게 존경심을 표합니다. 우리가 이 인터뷰를 시작할 때 기준이 되었던 Google은 아직 아무 말도 하지 않았습니다. 그들이 계속 침묵한다면, 기업으로서 매우 당혹스러운 상황이 될 것이고, 많은 직원들도 같은 느낌을 받을 것입니다. xAI로부터도 아직 아무 소식이 없습니다. 그래서 앞으로 어떻게 될지 흥미롭습니다. 기본적으로, 모두가 입장을 밝혀야 하는 순간이 왔습니다… (인터뷰가 여기서 끊깁니다).

결과가 실제로 좋을 수 있는 버전이 있을까요?

네, 그리고 그래서 저는 이상하게도 낙관적입니다. 여기에는 명백한 대안이 있습니다. AI 회사를 다른 기업과 똑같이 대하기만 하면—기업 면죄부를 없애면—그들은 이처럼 강력한 무언가를 출시하기 전에 임상 시험과 같은 절차를 거쳐야 하고, 독립적인 전문가들에게 제어 방법을 입증해야 할 것입니다. 그러면 우리는 AI가 가져다주는 모든 좋은 것들과 함께 존재론적 불안 없이 황금기를 맞이할 수 있습니다. 현재 우리가 가고 있는 길은 그와 다르지만, 그렇게 될 수도 있습니다.