“Whac-a-mole 딜레마” 해결: AI 비전 모델의 편향을 없애는 더 스마트한 방법

Source: MIT News - AI

Background

오늘날 병원과 클리닉에서 피부과 전문의는 인공지능 모델을 사용해 피부 병변을 분류하고 해당 병변이 암으로 발전할 위험이 있는지 혹은 양성인지 평가할 수 있습니다. 모델이 특정 피부톤에 편향되어 있으면 고위험 환자를 식별하지 못할 수 있습니다.

편향은 AI 연구에서 가장 지속적인 과제 중 하나입니다. 편향은 흔히 학습 데이터와 연관돼 논의되지만, 모델 아키텍처 자체도 편향을 포함하고 증폭시켜 실제 환경에서 성능에 부정적인 영향을 미칠 수 있습니다. 위험도가 높은 의료 상황에서는 성능 저하가 안전 문제로 이어집니다.

MIT, Worcester Polytechnic Institute, Google 연구진이 발표한 새로운 논문 (link)은 2026 국제 학습 표현 컨퍼런스에 채택되었으며, OpenAI의 OpenCLIP과 같은 비전‑언어 모델(VLM)용 새로운 디바이싱 접근법 Weighted Rotational Debiasing (WRING) 을 제안합니다.

The Whac‑A‑Mole Dilemma

VLM은 비디오, 이미지, 텍스트를 동시에 이해하고 해석할 수 있는 멀티모달 모델입니다. 기존 VLM 디바이싱 방법은 대부분 projection debiasing이라는 사후 처리 기법을 사용합니다. 이는 편향된 정보를 표현 공간에서 투영해 제거하는 방식입니다.

“그렇게 하면 모든 것을 억지로 압축하게 돼요,” 라고 논문의 제1저자 Walter Gerych가 말합니다. “모델이 학습한 다른 관계들도 그 과정에서 바뀌게 됩니다.”

Projection debiasing은 모델이 제거된 편향에 영향을 받지 않게 할 수 있지만, 다른 편향을 증폭하거나 새롭게 만들 수도 있습니다. 이러한 현상을 “Whac‑A‑Mole dilemma” (arXiv:2212.04825) 라고 부릅니다. 예를 들어, 임상 직원 이미지를 검색하는 VLM에서 인종 편향을 제거하면 의도치 않게 성별 편향이 강화될 수 있습니다.

Weighted Rotational DebiasING (WRING)

WRING은 편향을 일으키는 고차원 공간의 특정 좌표를 다른 각도로 회전시켜, 모델이 해당 개념 내 그룹을 구분하지 못하도록 합니다. 이렇게 하면 목표 편향에 대한 표현만 바뀌고, 다른 관계는 그대로 유지됩니다. Projection debiasing과 마찬가지로 WRING도 사후 처리 방식이며, 사전 학습된 VLM에 “즉시” 적용할 수 있습니다.

“이미 많은 자원과 비용을 들여 거대한 모델을 학습시켰는데, 학습 중에 뭔가를 바꾸고 싶지는 않아요. 그렇지 않으면 처음부터 다시 시작해야 하거든요,” 라고 Gerych가 설명합니다. “WRING은 매우 효율적입니다. 모델을 추가로 학습시킬 필요가 없고, 최소한의 침해만을 요구합니다.”

Key Advantages

• Efficiency: 추가 학습이 필요 없습니다.
• Minimal invasiveness: 모델이 학습한 대부분의 관계를 보존합니다.
• Targeted: 다른 영역에 편향을 증가시키지 않으면서 특정 개념에 대한 편향을 감소시킵니다.

Results and Future Work

연구진은 WRING이 목표 개념에 대한 편향을 크게 줄이면서도 다른 영역의 편향을 증가시키지 않는다는 것을 확인했습니다. 현재 이 접근법은 이미지와 언어를 연결해 검색이나 분류에 활용되는 Contrastive Language‑Image Pre‑training (CLIP) 모델에만 적용됩니다.

“이를 ChatGPT‑스타일의 생성형 언어 모델에 확장하는 것이 다음 합리적인 단계입니다,” 라고 Gerych가 말합니다.

Funding

This work was supported, in part, by:

• National Science Foundation CAREER Award
• AI2050 Award Early Career Fellowship
• Sloan Research Fellow Award
• Gordon and Betty Moore Foundation Award
• MIT‑Google Computing Innovation Award