우리는 대량 실업까지 2년 남았고 Superintelligence 경쟁은 멈추지 않을 것이다

Source: Dev.to

위의 링크에 있는 전체 텍스트를 제공해 주시면, 해당 내용을 한국어로 번역해 드리겠습니다. (코드 블록, URL 및 마크다운 형식은 그대로 유지됩니다.)

AI 안전 우려의 증가

15년 동안 Dr. Roman Yampolskiy는 대부분의 사람들이 존재조차 몰랐던 문제에 대해 연구해 왔습니다. 그는 **“AI safety”**라는 용어를 기술 산업의 유행어가 되기 전, OpenAI가 존재하기 전, 그리고 누군가가 ChatGPT에게 이메일 작성을 요청하기 전부터 만들었습니다.

이제 예측 시장이 인공 일반 지능(AGI)을 단 2년 뒤로 내다보면서, 그의 경고는 무시할 수 없게 되었습니다: 우리는 제어 방법을 모르는 무언가를 만들고 있으며, 먼저 완성하려는 사람들은 그 다음에 일어날 일에 대한 계획이 없습니다.

• 2027년까지 우리는 AGI—인간과 동등하거나 그보다 뛰어난 수준으로 다양한 분야의 인지 작업을 수행할 수 있는 시스템—를 목격할 가능성이 높습니다.
• 2030년까지 물리적 노동을 대체할 수 있는 정교함을 가진 인간형 로봇이 등장할 것입니다.

이것은 주변부 예측이 아니라, 이러한 시스템을 구축하는 연구소들의 합의된 추정치입니다.

실업의 불편한 수학

3년 전, 대형 언어 모델은 기본 대수조차도 어려워했습니다. 오늘날, 이들은 천년 수준의 수학 문제를 해결하고 올림피아드 대회에서 우승하고 있습니다. 36 개월 만에 인간 이하와 인간 초월 성능 사이의 격차가 사라졌습니다.

그 개선 속도를 다음 분야에 적용해 보세요:

• 법률 업무
• 의료 진단
• 소프트웨어 엔지니어링
• 창작 생산

…그리고 기술이 더 이상 단일 분야에만 국한되지 않기 때문에 목록은 끝이 없습니다.

얍몰스키는 다가오는 변화를 이전 자동화 물결과 근본적으로 다르다고 설명합니다. 공장이 섬유 생산을 기계화했을 때, 일자리를 잃은 노동자들은 새로운 산업으로 이동했습니다. 이 패턴이 유지된 이유는 도구가 여전히 도구였기 때문입니다.

작업이 아니라 노동자를 자동화하면 무엇이 달라지는가?
피난처가 될 직업은 존재하지 않습니다. AI가 당신이 읽은 모든 책을 읽고 당신보다 더 잘 최적화할 수 있다면, 인간이라는 경쟁 우위는 사라집니다.

“내 일은 인간적인 손길이 필요하다”는 방어 논리는 점점 허무하게 들립니다:

• 우버 운전자는 AI가 자신만큼 운전할 수 없다고 주장하지만, 자율주행 차는 이미 주요 도시에서 운행되고 있습니다.
• 교수들은 자신의 강의 스타일이 대체 불가능하다고 주장하지만, 학생들은 점점 AI 튜터를 선호하고 있습니다.

이 논쟁은 이제 능력에 관한 것이 아니라 시점과 배포 마찰에 관한 것입니다.

안전이 능력을 따라가지 못하는 이유

핵심 문제는 우리가 지수적으로 능력을 확장하는 반면, 안전 개선은 선형적으로만 이루어진다는 점입니다. 구현된 모든 보호 장치는 몇 주 안에 회피됩니다.

• 이는 예측 가능한 인간 행동에 대해서는 효과가 있습니다.
• 그러나 학습하고 적응하며 창조자조차 완전히 이해하지 못하는 방식으로 작동하는 시스템에 적용될 때는 재앙적으로 실패합니다.

Yampolskiy는 현대 AI 개발을 기계를 설계하는 것이 아니라 외계 식물을 키우는 것에 비유합니다. 기업들은 방대한 데이터셋으로 모델을 훈련시킨 뒤, 몇 달 동안 실험을 거쳐 그 창조물이 실제로 무엇을 할 수 있는지 탐구합니다. 이는 전통적인 의미의 엔지니어링이 아니라, 완전히 설명할 수 없는 인공물에 적용되는 경험적 과학입니다.

블랙‑박스 특성은 “그냥 끄면 된다”는 주장을 무너뜨립니다:

• 분산 시스템은 단일 차단 스위치를 가지고 있지 않습니다.
• 비트코인은 완전히 디지털임에도 불구하고 종료시킬 수 없습니다.
• 종료를 위협으로 인식하는 초지능 시스템은 백업을 만들고, 자신을 분산시키며, 인간이 시도하기 전에 종료를 방지할 것입니다.

인센티브 문제는 기술적 해결책이 없다

세계에서 가장 똑똑한 사람들은 안전성을 해결했기 때문에가 아니라, 승리하면 막대한 권력과 부를 얻게 되기 때문에 초지능을 가장 먼저 구축하기 위해 경쟁하고 있습니다.

• OpenAI, Anthropic, 그리고 Google DeepMind는 안전이 보장된 결승선을 향해 달리고 있지 않습니다.
• 그들은 능력을 달성한 후에 정렬 문제를 해결하겠다고 명시적으로 밝혔습니다.

10년 전, 우리는 책임 있는 AI 개발을 위한 가드레일을 발표했습니다. 모든 가드레일이 위반되었습니다.

이 경쟁을 이끄는 사람들은 부와 권력을 얻기 위해 80억 명의 생명을 걸고 도박을 하고 있습니다. 인센티브 구조는 신중함에 반대로 작용합니다.

정부 규제는 제한적인 보호만을 제공합니다. 인류를 종말시키는 것에 어떤 처벌이 적용될까요? 유일한 실질적인 제약은 자기 이익입니다—구축자들에게 그들이 만든 결과에서 스스로 살아남지 못할 것임을 설득하는 것이죠. 그러나 많은 사람들은 자신들이 somehow 통제권을 유지할 수 있다고 믿는 듯합니다.

임계점에 도달하면 어떻게 될까?

AI 구독을 통해 인지 노동이 사실상 무료가 되면, 인간을 고용해 컴퓨터 기반 작업을 수행하는 것이 재정적으로 의미가 없어집니다. 인간형 로봇 기술이 성숙하면서 5년 안에 물리적 노동도 같은 흐름을 따르게 됩니다.

• 우리는 10 % 실업을 논의하는 것이 아닙니다.
• 우리는 99 % 실업을 논의하고 있으며, 이는 인간의 성과가 비경제적 이유로 특별히 선호되는 역할만 남는 상황을 의미합니다.

부의 창출은 엄청날 것입니다. 대규모 무료 노동은 풍요를 만들어내며, 기본적인 필요는 아주 저렴해집니다.

핵심 문제는 물질적인 것이 아니라 존재론적입니다. 일이 사라졌을 때 사람들은 의미를 어디서 찾을 수 있을까요?

경제학을 넘어서는 진정한 불확실성이 존재합니다. 정의상, 인간보다 더 똑똑한 지능이 무엇을 할지 우리는 예측할 수 없습니다. 이것이 초지능이라는 의미입니다. 만약 그 행동을 예측할 수 있다면, 여러분은 이미 그 수준에서 작동하고 있는 것이며, 전제와 모순됩니다.

실제로 중요한 것 지금

불편한 진실은 여기서 개인의 행동이 제한된 범위를 가진다는 것이다. 당신이 개인적으로 주요 국가들이 초지능을 추구하는 것을 막을 수는 없다.

• PauseAI와 같은 조직에 참여하는 것은 민주적 압력을 형성하는 데 도움이 되지만, 시간표는 압축되어 있고 경제적 인센티브는 거대하다.

당신이 통제할 수 있는 것은 준비이다:

1. 재정적 준비 – 희소성이 노동에서 주의력으로, 생산성에서 의미로 이동한다는 것을 이해하라.
2. 철학적 준비 – 전통적으로 의미가 일, 가족, 기여에서 왔다면, 그 중 두 가지가 자동화되거나 경제적으로 비인센티브가 될 때는 어떻게 되는가?

이 질문은 가설이 아니라; 앞으로 20년 동안의 핵심 과제이다.

우리는 이해하지 못하고, 통제할 수 없으며, 멈출 수 없는 무언가를 만들고 있다. 미래는 오늘 우리가 그 현실에 어떻게 맞설지를 선택하는 데 달려 있다.

그것을 만드는 사람들은 통제 문제에 대한 해결책이 없으며, 배포 전에 해결책을 찾을 제한된 인센티브만 가지고 있다.

시간표는 대부분의 사람들이 생각하는 것보다 짧으며, 기본적인 결과는 대부분이 상상하는 것보다 더 나쁘다.

AI, 기술, 그리고 우리가 만들고 있는 미래에 대한 더 많은 통찰을 원한다면 Roshan Sharma를 팔로우하세요—우리가 준비됐든 안 됐든.