보이지 않는 배심원

Source: Dev.to

사례 연구: Derek Mobley

Derek Mobley는 자신이 정신이 나가는 것 같다고 생각했습니다. 불안과 우울증을 겪고 있는 40대 중반의 아프리카계 미국인 IT 전문가인 그는 2023년에 100개가 넘는 직업에 지원했지만, 매번 정성스럽게 만든 지원서가 디지털 블랙홀로 사라지는 것을 보았습니다. 인터뷰도, 회신도 없었습니다. 오직 알고리즘의 침묵만이 있었습니다. Mobley가 몰랐던 것은 인간 채용 담당자에게 거절당한 것이 아니라, Workday의 AI 스크리닝 도구에 의해 체계적으로 걸러지고 있었다는 점이었습니다. 이 보이지 않는 문지기는 본래 설계된 편견을 없애야 한다는 명목으로 편견을 영속화하도록 학습된 것이었습니다.

Mobley의 이야기는 2023년 2월에 소송을 제기하면서(2024년에 수정) 전례 없는 단계에 이르렀습니다. 그는 소프트웨어를 사용하는 기업이 아니라 Workday 자체를 고소했으며, HR 거대 기업의 알고리즘이 연방 차원의 차별 금지법을 위반했다고 주장했습니다. 2024년 7월, 미국 지방 법원 판사 Rita Lin은 실리콘밸리의 알고리즘 경제에 충격을 주는 판결을 내렸습니다. 이 사건은 Workday가 고용 대리인으로서 차별에 직접적인 책임을 질 수 있다는 이론에 따라 진행될 수 있었습니다.

그 의미는 엄청났습니다. 알고리즘이 대리인이라면, 알고리즘 제작자는 고용주가 됩니다. 고용주가 된다면, 전체 AI 산업은 전통적인 채용을 규율하는 차별 금지법을 동일하게 적용받게 됩니다.

알고리즘 판결

우리는 역사상 가장 큰 인간 판단 위임을 겪고 있습니다. 추정에 따르면 현재 포춘 500대 기업의 99 %가 채용 과정에 어느 형태든 자동화를 사용하고 있습니다. 은행은 AI를 이용해 대출을 밀리초 단위로 승인하거나 거부합니다. 의료 시스템은 머신러닝을 활용해 질병을 진단하고 치료를 권고합니다. 법원은 형량 결정을 돕기 위해 알고리즘 위험 평가에 의존합니다. Facebook, YouTube, TikTok 같은 플랫폼은 AI를 이용해 공공 담론을 형성하는 정보 생태계를 큐레이션합니다.

이 위임은 우연이 아니라 설계된 결과입니다. AI 시스템은 방대한 데이터를 처리하고 미묘한 패턴을 식별하며 초인적인 속도로 일관된 결정을 내릴 수 있습니다. 피곤하거나 나쁜 날이 없으며, 의식적인 편견도 없습니다. 이론적으로는 차갑고, 합리적이며, 공정한 최종 민주화된 의사결정 수단을 의미합니다.

알고리즘 의사결정의 범위

현실은 훨씬 복잡합니다. 이러한 시스템은 수세기에 걸친 인간 편견을 반영한 과거 데이터를 학습하고, 무의식적 편견을 가진 엔지니어가 코딩하며, 창작자가 예상치 못한 상황에 배포됩니다. 그 결과는 Cathy O’Neil이 Weapons of Math Destruction에서 “억압의 알고리즘”이라고 부르는, 전례 없는 규모로 차별을 자동화하는 시스템입니다.

• 채용: 워싱턴 대학교 연구는 300만 개가 넘는 이력서와 채용 공고 조합을 조사했으며, 대형 언어 모델이 백인 연관 이름을 85 %의 비율로 선호하고 흑인 남성 연관 이름을 백인 남성 이름보다 절대 선호하지 않는다는 결과를 도출했습니다.
• 주거: SafeRent의 AI 스크리닝 시스템은 인종 및 장애를 근거로 지원자를 차별한 혐의로 2024년에 230만 달러의 합의금을 지급했습니다. 법원은 이 알고리즘이 주거 바우처를 가진 지원자를 부당하게 불이익을 주었다고 판단했습니다.
• 헬스케어: 주로 백인 환자를 대상으로 훈련된 AI 진단 도구는 유색인종의 중요한 증상을 놓칩니다.
• 형사 사법: COMPAS와 같은 위험 평가 알고리즘은 흑인 피고를 백인 피고보다 거의 두 배 높은 비율로 고위험으로 잘못 표시하는 것으로 밝혀졌습니다.

알고리즘이 일자리, 주거, 의료 치료, 자유를 결정할 때, 편견은 단순한 기술적 결함이 아니라 기회의 체계적 박탈입니다.

투명성 및 설명받을 권리

AI 기반 결정의 근본적인 문제는 편향 가능성뿐만 아니라, 우리가 이를 알 방법이 없다는 점입니다. 현대 머신러닝 시스템, 특히 딥 뉴럴 네트워크는 본질적으로 블랙 박스입니다. 입력을 받아 숨겨진 층을 통해 수백만 번의 계산을 수행하고 출력을 생성합니다. 심지어 개발자조차도 왜 특정 결정을 내렸는지 완전히 설명하지 못합니다.

유럽 규제 프레임워크

유럽 연합은 이 문제를 인식하고 일반 데이터 보호 규정(GDPR)과 2024년 8월 발효된 AI 법에 “설명받을 권리”를 명시했습니다.

• GDPR 제22조는 개인이 “전적으로 자동 처리에 기반한” 결정에 종속되지 않을 권리를 보장하고, “관련 논리 구조에 대한 의미 있는 정보”를 제공받아야 한다고 명시합니다.
• AI 법은 고위험 AI 시스템이 건강, 안전, 기본권에 부정적 영향을 미칠 경우 “결정 과정에서 AI 시스템이 수행한 역할에 대한 명확하고 의미 있는 설명”을 요구합니다.

2024년 유럽 사법 재판소 판결은 기업이 자동화된 의사결정 과정에 대해 “간결하고, 투명하며, 이해하기 쉬우며, 쉽게 접근 가능한” 설명을 제공해야 한다고 명확히 했습니다. 그러나 기업은 여전히 영업 비밀을 이유로 알고리즘을 보호할 수 있어, 투명성과 지식재산권 사이에 근본적인 긴장이 존재합니다.

설명 가능성의 기술적 과제

1750억 개 파라미터를 가진 시스템의 결정을 어떻게 설명할 수 있을까요? 설계자조차 완전히 이해하지 못하는 과정을 어떻게 투명하게 만들 수 있을까요?

연구자들은 SHAP(Shapley Additive exPlanations)와 LIME(Local Interpretable Model‑agnostic Explanations) 같은 사후 설명 방법부터 본질적으로 해석 가능한 모델에 이르기까지 다양한 XAI(Explainable AI) 접근법을 개발했습니다. 각 접근법은 다음과 같은 trade‑off를 가집니다:

• 더 단순하고 해석 가능한 모델은 최신 연구에 따르면 정확도가 8‑12 % 정도 감소할 수 있습니다.
• 더 정교한 설명 방법은 계산 비용이 많이 들고, 모델 행동에 대한 근사적인 통찰만 제공할 수 있습니다.

설명이 제공되더라도, 알고리즘 결정에 영향을 받는 사람들에게는 의미가 없을 수 있습니다. “모델이 데이터에서 미묘한 패턴을 감지했기 때문에 대출 신청이 거부되었습니다”라는 설명은 책임성을 충족시키거나 시정 조치를 가능하게 하는 데 거의 도움이 되지 않습니다.

앞으로 나아가기

알고리즘 편향과 불투명성을 해결하려면 법, 정책, 엔지니어링, 시민 사회가 협력해야 합니다:

1. 설명받을 권리와 차별 금지에 대한 기존 규제의 강력한 집행.
2. 산업 전반에 적용 가능한 표준화된 감사 프레임워크 구축.
3. 고위험 분야에 대한 본질적으로 해석 가능한 모델에 대한 투자.
4. 알고리즘 의사결정의 광범위함과 구제 방법에 대한 대중 인식 제고.

AI 시스템을 인간 의사결정자와 동일한 법적·윤리적 기준에 따라 책임을 지는 행위자로 취급할 때만이 보이지 않는 배심원이 체계적 억압의 도구가 되는 것을 방지할 수 있습니다.