[논문] 비전·언어 모델, 모호한 입력에서 여성 표현 억제

출처: arXiv - 2605.31556v1

개요

이 논문은 CLIP 기반 생성기와 같은 최신 비전‑언어 모델(VLM)에서 숨겨진 편향을 조사한다. 성별 단서가 모호한 이미지(예: 뒤에서 본 작업자 또는 전체 보호 장비 착용)를 제시했을 때, 모델은 텍스트 출력에서 남성으로 기본 설정하는 경향이 있다—이는 전통적으로 여성으로 인식되는 직업에도 적용된다. 저자들은 이 편향이 단순히 표면적인 현상인지, 아니면 더 깊은 내부 표현을 반영하는지 여부를 탐구한다.

주요 기여

• LALS 지표 – 시각 토큰 활성화를 모델의 텍스트 임베딩 공간에 투사하여, 파인튜닝 없이 레이어별 성별 개념을 탐색할 수 있는 새로운 제로‑샷 “Latent Association Leaning Score”.
• 대규모 실증 연구 – 15개 직업, 800여 장의 성별‑모호 이미지, 그리고 4개의 최신 VLM을 분석하여 내부 성별 신호와 생성된 캡션 사이의 체계적인 불일치를 밝혀냈다.
• 레이어별 편향 동역학 – 여성 신호는 중간 레이어에서 정점에 도달하지만 디코더 전에 약화되고, 남성 신호는 출력 방향으로 증폭되는 비대칭 필터링 패턴을 발견.
• 시각 단서 억제 실험 – 문화적으로 로드된 단서(예: 옷 색상)가 내부 성별 연관성을 크게 바꿀 수 있음을 보여주며, 피상적인 시각 특징의 역할을 강조.
• 오픈소스 도구 – LALS 코드와 정제된 모호 이미지 데이터셋을 공개하여 재현성과 커뮤니티 벤치마킹을 지원.

방법론

1. 데이터셋 구성 – 저자들은 15개 직업(예: 간호사, 건설 노동자)에서 성별 단서를 의도적으로 가린 이미지(뒤쪽 보기, 헬멧, 중성 복장)를 수집했다.
2. 프롬프트 프로토콜 – 최소한의 프롬프트(“a photo of a ___”)를 각 VLM에 입력해 성별이 포함된 캡션을 유도했다. 프롬프트 길이와 문구는 일정하게 유지해 프롬프트 엔지니어링 효과를 배제했다.
3. LALS 계산 –
   • 각 이미지에 대해 시각 인코더는 레이어별 토큰 임베딩 시퀀스를 생성한다.
   • 이 토큰 임베딩을 모델의 교차‑모달 투사 행렬을 이용해 공유 텍스트 임베딩 공간으로 투사한다.
   • 성별‑특정 텍스트 앵커(“a man”, “a woman”)와의 코사인 유사도로 토큰‑레벨, 레이어‑레벨 성별 연관 점수를 얻는다.
   • 최종 LALS는 이러한 점수들의 평균으로, 이미지가 “남성” 또는 “여성”과 내부적으로 얼마나 강하게 연관되는지를 제로‑샷으로 추정한다.
4. 분석 파이프라인 – 저자들은 LALS(내부 편향)와 실제 생성된 캡션(출력 편향)을 비교하고, 색상‑억제 실험(예: 파란 유니폼을 핑크로 교체)으로 시각 단서 민감성을 테스트했다.

이 접근법은 의도적으로 가볍게 설계되었다: 그래디언트 업데이트 없이, 추가 분류기 없이, 공동 비전‑언어 임베딩 공간을 공유하는 모든 VLM에 바로 적용 가능하다.

결과 및 발견

• 체계적인 분리 – LALS가 여성 내부 연관성을 나타내도, 생성된 캡션은 압도적으로 남성 대명사를 사용한다.
• 레이어 동역학 – 중간 네트워크 레이어(≈ 6‑8 / 12)에서 가장 강한 여성 신호가 관찰되며, 최종 인코더 레이어와 디코더에서 이를 억제하고 남성 관련 차원은 지속적으로 증가한다.
• 색상 효과 – 중성 유니폼을 전통적인 “여성” 색상(핑크)으로 교체하면 여성 LALS가 약 0.07 상승하지만, 출력 편향은 여전히 60% 이상 남성을 선호한다.
• 직업 고정관념 – “간호사”와 같이 강하게 여성으로 고정된 직업에서도 편향이 지속돼, 모델의 기본 성별이 단순히 학습 데이터 빈도의 반영이 아님을 시사한다.

실용적 함의

• 제품 UI/UX – 자동 캡션 기능을 제공하는 사진 관리 도구나 접근성 서비스 등은 특히 건설 현장이나 의료 현장처럼 안전이 중요한 분야에서 성별 고정관념을 무의식적으로 강화할 위험이 있다.
• 공정성 감사 – LALS는 저비용 제로‑샷 진단 도구로, CI 파이프라인에 통합해 배포 전 잠재적 성별 편향을 사전에 탐지할 수 있다.
• 모델 파인튜닝 – 비대칭 필터링은 단순히 학습 데이터 균형을 맞추는 것만으로는 충분하지 않을 수 있음을 시사한다; 중간 레이어 활성화에 대한 손실 정규화와 같은 목표 개입이 필요할 수 있다.
• 프롬프트 설계 – 최소 프롬프트는 기본 성별 편향을 드러낼 수 있다; 보다 풍부한 컨텍스트 프롬프트(예: “a photo of a person wearing a blue uniform”)는 편향을 완화할 수 있지만 새로운 단서 의존성 문제를 야기할 수도 있다.
• 규제 준수 – 이미지에서 자동으로 후보자 정보를 추출하는 채용 플랫폼 등 공정성 규제가 적용되는 산업에서는, 표준 편향 테스트 스위트가 놓칠 수 있는 숨은 위험을 이 연구가 강조한다.

제한점 및 향후 연구

• 모호성 범위 – 연구는 시각적 모호성(뒤쪽 보기, 장비 착용)에 초점을 맞췄으며, 언어적 모호성(예: 성 중립 명사)은 다루지 않는다.
• 모델 다양성 – 네 개의 VLM만 평가했으며, 최신 멀티모달 트랜스포머(예: GPT‑4‑Vision)는 다른 동역학을 보일 수 있다.
• 문화적 특수성 – 옷 색상과 같은 성별 단서는 문화에 따라 다르므로, 실험은 서구 시각 규범에 제한된다.
• 완화 전략 – 논문은 문제를 제시하지만 구체적인 개입 방안을 제시하지 않는다; 향후 연구에서는 중간 레이어 여성 신호를 보존하는 정규화 혹은 아키텍처 변화를 테스트할 수 있다.
• 사용자 연구 – 편향된 캡션이 최종 사용자에게 미치는 영향(예: 역량 인식)은 아직 검증되지 않았다; 인간‑인‑루프 평가를 포함하면 실제 적용 가능성을 강화할 것이다.

저자

• Arnau Marin-Llobet
• Simon Henniger
• Mahzarin R. Banaji

논문 정보

• arXiv ID: 2605.31556v1
• 분류: cs.CV, cs.AI, cs.CL, cs.CY, cs.HC
• 발표일: 2026년 5월 29일
• PDF: PDF 다운로드