불가능한 약속

Source: Dev.to

AI Forgetting: The Core Problem

2024년 12월, 유럽 데이터 보호 위원회(EDPB)는 브뤼셀에 모여 겉보기에 단순한 질문에 맞섰습니다: 인공지능이 잊을 수 있는가? 위원회의 의견 28/2024는 12월 18일에 발표되었으며, AI 모델을 “익명”으로 간주할 수 있는 시점과 개인 데이터 권리가 이러한 시스템에 어떻게 적용되는지에 대한 지침을 제공하려 했습니다. 그러나 관료적인 언어 이면에는 불편한 진실이 숨어 있습니다—현대 AI의 구조는 데이터 삭제 약속을 실제 시스템 작동 방식과 근본적으로 양립시킬 수 없습니다.

ChatGPT, Claude, Gemini와 같은 대형 언어 모델은 인터넷에서 수집된 페타바이트 규모의 인간 표현을 동의 없이 학습했습니다. 모든 트윗, 블로그 포스트, 포럼 댓글, 학술 논문이 현재 의료 진단부터 채용 결정까지 영향을 미치는 시스템의 학습 데이터가 되었습니다. 하버드 비즈니스 스쿨 조교수이자 Trustworthy AI Lab 책임자인 Seth Neel은 다음과 같이 설명합니다:

“머신 언러닝은 무엇보다도 계산에 관한 문제입니다. 모델을 처음부터 다시 학습하지 않고도 해당 데이터의 영향을 효율적으로 제거하는 것이 핵심입니다.”

전통적인 데이터베이스처럼 행을 삭제할 수 있는 경우와 달리, AI 모델은 수십억 개의 파라미터에 걸쳐 패턴을 인코딩하고, 각 파라미터는 수백만 개의 데이터 포인트에 의해 영향을 받습니다. AI에게 특정 정보를 잊어달라고 요청하는 것은 셰프에게 구운 케이크에서 소금을 제거해 달라고 요구하는 것과 같습니다—처음부터 다시 시작한다면 이론적으로는 가능하지만, 이미 완성된 뒤에는 실질적으로 불가능합니다.

Legislative Attempts to Enforce Deletion

California’s Groundbreaking Law

2024년 9월, 캘리포니아는 이 역설에 정면으로 맞섰습니다. Assembly Bill 1008은 9월 28일에 주지사 Gavin Newsom이 서명하여 법으로 제정되었으며, 캘리포니아 프라이버시 권리법(CPRA) 하에서 “개인 정보” 정의를 “추상 디지털 형식”—모델 가중치, 토큰 및 개인 데이터에서 파생된 기타 출력물—까지 확대했습니다. 2025년 1월 1일부터 시행되는 이 법은 캘리포니아 주민에게 AI 모델의 신경 경로에 이미 흡수된 데이터라도 삭제를 요청할 권리를 부여합니다.

이 입법은 서면상으로는 혁신적입니다: 주요 관할 구역이 처음으로 AI 모델 자체 구조에 개인 정보가 포함되어 있음을 법적으로 인정한 것이죠. 그러나 기술적 현실은 여전히 협조적이지 않습니다. 스탠포드 대학 박사과정 학생이자 Machine Unlearning in 2024 저자인 Ken Ziyu Liu는 2024년 5월에 발표한 영향력 있는 블로그 글에서 다음과 같이 지적했습니다:

“LLM에서 언러닝을 평가하는 것은 과학이라기보다 예술에 가깝습니다. 핵심 문제는 언러닝 평가를 위한 데이터셋과 벤치마크가 절실히 부족하다는 점입니다.”

캘리포니아 프라이버시 보호청은 이 법안을 지지했으며, 기술적 어려움이 기업의 프라이버시 의무를 면제해 주어서는 안 된다고 주장했습니다. 비평가들은 각 삭제 요청마다 대규모 모델을 재학습시키는 비용이 수백만 달러에 달하고, 막대한 컴퓨팅 자원을 소모하게 되어 실질적으로는 대형 기술 기업을 제외한 대부분에게는 경제적으로 불가능하다고 지적합니다.

European Perspective

대서양 건너편에서도 유럽 규제당국은 유사한 모순에 직면하고 있습니다. GDPR 제17조, 일명 “잊힐 권리”는 현재 AI 붐 이전에 제정되었습니다. 당시에는 삭제가 간단했습니다: 데이터를 찾아 삭제하고, 삭제가 완료됐음을 확인하면 되었습니다. AI는 이러한 가정을 완전히 뒤흔들어 놓았습니다.

EDPB의 2024년 12월 의견은 AI 모델을 사례별로 익명성을 평가하도록 제안함으로써 이 문제를 해결하려 했습니다. 모델이 “개인을 식별하거나 개인 데이터를 추출할 가능성을 매우 낮게” 만든다면 익명으로 간주되어 삭제 요구에서 면제될 수 있다는 것입니다. 그러나 이는 여러 미해결 질문을 남깁니다:

• “매우 낮다”는 기준은 얼마나 낮은가?
• 누가 그 판단을 내리는가?
• 적대적 공격이 모델을 속여 “기억하지 않는다”고 주장하는 훈련 데이터를 드러낼 경우는 어떻게 되는가?

옥스퍼드 대학 컴퓨터 과학과 부교수이자 영국 정보 커미셔너 사무소(ICO)에서 AI 연구원으로 활동했던 Reuben Binns는 이러한 긴장을 수년간 연구해 왔습니다. 그의 맥락적 무결성 및 데이터 보호 연구는 규제가 데이터에 대해 개념화하는 방식과 AI 시스템이 실제로 정보를 처리하는 방식 사이에 근본적인 불일치가 있음을 보여줍니다.

한편, 함부르크 데이터 보호 당국은 대형 언어 모델이 개인 데이터를 전혀 포함하지 않으며 따라서 삭제 권리의 적용 대상이 아니라고 주장하는 논란의 입장을 취했습니다. 이 입장은 캘리포니아의 접근법과 직접 충돌하며, AI 거버넌스에서 국제적 파편화가 심화되고 있음을 강조합니다.

The Scientific Quest for “Machine Unlearning”

2024년 한 해만 해도 연구자들은 수십 편의 논문을 발표하며 다양한 기술—그라디언트 기반 방법, 데이터 귀속 알고리즘, 선택적 재학습 프로토콜—을 제안했습니다. 구글 딥마인드 수석 연구 과학자이자 2023년 첫 NeurIPS Machine Unlearning Challenge 공동 조직자인 Eleni Triantafillou는 이러한 노력의 최전선에 서 있습니다.

Triantafillou가 2024년에 발표한 논문 “Are we making progress in unlearning?” (Peter Kairouz와 Fabian Pedregosa와 공동 저술)에서는 다음과 같은 냉정한 현실을 제시합니다:

• 현재의 언러닝 방법은 정보를 완전히 제거하지 못한다.
• 모델 성능을 예측 불가능하게 저하시킬 수 있다.
• 정교한 공격이 여전히 활용할 수 있는 잔여 흔적을 남길 수 있다.

저자들은 진정한 언러닝을 위해서는 AI 시스템을 구축하는 근본적인 아키텍처 변화가 필요할 수 있다고 제안합니다.

Foundation Models: A Special Challenge

기초 모델—다양한 다운스트림 애플리케이션을 지원하는 거대하고 범용적인 시스템—은 언러닝에 특히 어려운 문제를 제시합니다. 그 규모, 다양한 다운스트림 작업, 그리고 지식을 내부화하는 불투명한 방식은 선택적 삭제를 극도로 어렵게 만듭니다. 연구자들은 파라미터 효율적인 파인튜닝, 지식 증류, 암호학적 감사를 결합한 하이브리드 접근법을 탐구하며, 프라이버시 보장과 모델 유용성 사이의 균형을 모색하고 있습니다.