Google이 Timnit Gebru를 해고한 LLM 경고가 모두 실현되었다

Source: Hacker News

Timnit Gebru는 2020년 12월에 연구 논문을 철회하라는 요구를 거부한 이유로 구글에서 해고되었으며, 그 논문이 경고한 대형 언어 모델에 관한 모든 위험이 이제 산업계가 4년 동안 사람들에게 잊게 만들려 했던 규모로 현실화되었습니다.

그녀의 이름은 Timnit Gebru입니다.

• 그녀는 구글의 윤리 AI 팀을 공동으로 이끌었습니다.
• 그녀는 Emily Bender(워싱턴 대학교)와 다른 두 명의 연구자와 함께 **“On the Dangers of Stochastic Parrots”**라는 논문을 공동 집필했습니다.
• 이 논문은 14 페이지 분량으로, 최고 수준의 AI‑윤리 학회에 제출되었으며, 구글이 AI 연구 분야에서 가장 고위에 있는 흑인 여성 중 한 명을 더 이상 근무시킬 수 없다고 결정한 이유였습니다.

구글이 공개적으로 밝힌 이야기는 그녀가 사임했다는 것이었습니다.
그녀가 밝힌 이야기는—2,695명의 동료가 공개 서한에서 확인한 바와 같이—그녀가 논문을 철회하거나 이름을 삭제하기를 거부했기 때문에 휴가 중 이메일로 해고 통보를 받았다는 것입니다.

그 논문은 아직 출판되지도 않았었습니다.

아래는 그녀가 실제로 쓴 내용의 정리된 버전이며, 그 안에 담긴 모든 예측이 지금 어떻게 실현되었는지를 보여줍니다.

1. Scale에 대한 경고

Bender와 Gebru는 인터넷을 점점 더 많이 스크랩하여 점점 더 큰 모델을 훈련시키는 것이 유창해 보이지만 실제 언어 이해는 전혀 없는 시스템을 만들 것이라고 주장했습니다. 그들은 이러한 시스템을 확률적 앵무새라고 불렀는데, 이는 훈련 데이터의 패턴을 통계적 확신과 전혀 이해 없이 반복한다는 의미입니다.

• 예측: 이러한 겉보이는 지능은 사용자와 개발자 모두를 속여, 구조적으로 신뢰할 수 없는 출력을 신뢰하게 만들 것이다.
• 맥락 (2020): GPT‑3가 막 출시된 시점이었다.
• 결과: 논문은 환각 문제라는 용어가 나오기 전부터 이를 예측했다.

2. Bias Amplification에 대한 경고

논문에서는 인터넷 규모의 학습 데이터에 지배적인 관점의 과다 대표와 소외된 관점의 과소 대표가 체계적으로 존재한다는 점을 상세히 기록하고 있다. 모델은 이러한 편향을 단순히 흡수하는 것이 아니라 증폭시킬 것이다. 최적화 과정이 자신감 있는 출력을 보상하고, 언어 패턴에 대한 자신감은 학습 데이터 내 빈도와 연관되기 때문이다.

• 예측되는 해악:

  • 이러한 모델을 기반으로 한 채용 도구는 여성에게 차별을 가할 수 있다.
  • 의료 트리아지 도구는 흑인 환자에 대해 성능이 저하될 것이다.
  • 대출 승인 시스템은 불평등을 고착화하면서 결정을 중립적인 알고리즘 판단으로 포장한다.

• 문서화된 사례 (2020년 이후):

  • 아마존의 채용 알고리즘은 이력서에 “women”(여성)이라는 단어가 포함된 경우 불이익을 주었다.
  • 헬스케어 위험 점수 알고리즘을 사용하는 주요 미국 병원들은 흑인 환자의 의료 필요를 체계적으로 과소평가했다.
  • Apple Card는 동일한 재무 프로필을 가진 부부 중 아내에게 10배 낮은 신용 한도를 부여했다.

3. 환경 비용에 대한 경고

논문에서는 단일 대형 언어 모델을 학습시키는 것이 다섯 대 자동차의 평생 배출량에 해당하는 배출량을 발생시킨다고 계산했습니다.

• 예측: 규모 확장의 경쟁은 결국 전체 산업과 맞먹는 환경 발자국을 만들 것입니다.

• 2024 데이터:

  • Google의 배출량은 2019년 대비 48 % 증가했으며, 이는 AI 인프라스트럭처 때문이라고 명시적으로 밝혔습니다.
  • Microsoft의 배출량도 29 % 증가했으며, 동일한 이유 때문입니다.
  • 두 회사는 이제 조용히 기후 약속을 포기했으며, 이는 Gebru가 해고된 해에 공개적으로 축하했던 약속입니다.

4. Documentation에 대한 경고

논문은 수집된 훈련 데이터셋이 누구도 실제로 감시하기엔 너무 크다고 주장했다. 어떤 연구실도 자신들의 모델이 훈련된 데이터에 무엇이 들어 있는지 확신을 가지고 말할 수 없었다. 이는 일시적인 문제가 아니라 접근 방식의 영구적인 특징으로 제시되었다.

• 2023 discovery: 연구자들은 LAION‑5B 데이터셋(Stable Diffusion 및 기타 주요 이미지 모델 훈련에 사용됨)에 수천 장의 아동 성착취물 이미지가 포함되어 있음을 발견했다.
• 해당 데이터셋으로 훈련한 기업들은 이를 알 방법이 없었다.
• 논문은 이 종류의 실패를 발견되기 3년 전에 예측했다.

5. 언어 및 문화 권력 집중에 대한 경고

Bender와 Gebru는 이러한 시스템의 배포가 언어 및 문화 권력을 훈련할 여력이 있는 소수의 기업 손에 집중시킬 것이라고 주장했습니다.

• 인터넷은 지배적인 목소리가 지배적인 목소리들의 통계적 평균으로, 중립적인 어시스턴트로 제시되는 장소가 될 것입니다.

• 훈련 데이터에서 과소 대표된 언어들은 이러한 시스템에 의해 생성된 웹 콘텐츠가 증가하고 다음 훈련에 다시 투입되면서 시간이 지남에 따라 품질이 저하될 것입니다.

• 2024년 증거:

  • 한 연구에 따르면 **영어 신규 웹 콘텐츠의 57 %**가 AI‑생성 또는 AI‑보조된 것이라고 밝혀졌습니다.
  • 저자원 언어를 연구하는 연구자들은 번역 품질의 활발한 저하를 기록했는데, 이는 훈련에 다시 투입되는 합성 콘텐츠 자체가 해당 언어들에서 더 낮은 품질이기 때문입니다.

• 이 논문은 해당 용어가 등장하기 전에 “모델 붕괴” 문제를 예측했습니다.

Fallout 뒤의 메커니즘

Gebru의 주장은 AI가 추상적인 SF적인 의미에서 위험하다는 것이 아니었습니다. 그녀가 주장한 것은 AI가 매우 구체적인 구조적 의미에서 위험하다는 것이었습니다:

• 이 기술은 비슷한 배경을 가진 소수의 연구자들이 만들었으며, 이들은 비슷한 기업에서 일하고 경쟁자보다 빠르게 제품을 출시하는 것에 보상을 받았습니다.
• 인센티브 구조 때문에 안전, 윤리, 편향에 대한 우려가 진행 속도를 늦추는 것이 불가능했습니다.
• 시스템 내부에서 이러한 우려를 제기한 사람은 무시되거나, 소외되거나, 해고되었습니다.

그녀는 구글 내부에서 이 주장을 했습니다.

그 후 구글은 그녀를 해고함으로써 그녀의 주장이 맞았음을 증명했습니다.

그들의 AI가 안전하도록 만들기 위해 구글이 구성한 팀은 90일 만에 해체되었습니다. 왜냐하면 그들은 고용된 일을 수행했기 때문입니다.

Margaret Mitchell, Ethical AI 공동 리더 중 한 명

[Unnamed source]

그 팀은 Gebru가 해고된 두 달 후, 그녀가 자신에게 어떻게 대우받았는지 증거를 찾기 위해 자신의 이메일을 조사한 뒤 해고되었습니다.

Gebru는 멈추지 않았습니다. 그녀는 2021년에 DAIR(Distributed AI Research Institute)를 설립했습니다. 이 기관의 사명은 재정적 이해관계가 답을 듣고 싶어 하지 않는 기업들의 통제 밖에서 AI 연구를 수행하는 것입니다.

Stochastic Parrots 논문의 모든 예측은 이제 실제 적용을 통해 검증되었습니다. 환각 현상은 가장 큰 연구소조차 해결하지 못하는 산업 전반의 문제입니다. 편향 증폭은 채용, 의료, 대출, 형사 사법 분야에서 문서화되었습니다. 환경 비용은 작은 국가 전체보다도 큽니다. 훈련 데이터 감사는 여전히 불가능합니다. 모델 붕괴는 모든 주요 연구소에서 진행 중인 연구 위기입니다.

진지하게 고민해볼 질문은 업계에서 거의 아무도 크게 말하지 않는 질문입니다.

이러한 문제를 공개적으로 지적할 기술적 신뢰성을 가진 모든 연구자는 2020년 12월에 그녀에게 일어난 일을 보고 자신의 경력을 계산했습니다. 그 해고 이후, 주요 AI 연구소 내부에서 안전 및 윤리 문제를 공개적으로 말하려는 사람들의 수는 급감했으며 아직 회복되지 않았습니다.

안전과 윤리에 대해 정확히 경고했지만 해고된 구글 연구자는 옳았습니다.

그녀를 해고한 회사는 이제 그녀가 경고했던 기술을 두 번째로 많이 배포하는 기업이 되었습니다.

그리고 그 회사 내부에서 그녀의 의견에 동의하는 사람들은 그 사실을 말할 수 없습니다.