Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation **번역:** 음성, 편향 및 상호지시: 음성 번역에서 성별에 대한 해석 가능성 연구

Source: arXiv - 2511.21517v1

Overview

논문 Voice, Bias, and Coreference: An Interpretability Study of Gender in Speech Translation 은 영어(많은 단어에 성별 문법이 없는)에서 스페인어, 프랑스어, 이탈리아어와 같이 성별이 있는 언어로 변환할 때 음성‑번역(ST) 시스템이 화자를 잘못 성별 지정하는 이유를 탐구합니다. 세 가지 ST 모델을 조사함으로써 저자들은 학습 데이터, 내부 언어 모델(ILM) 편향, 그리고 음향 신호가 어떻게 상호작용하여 성별 결정을 내리는지를 밝혀내며, 이 현상에 대한 최초의 상세한 모델‑수준 설명을 제공합니다.

Key Contributions

• 세 언어쌍(en‑es, en‑fr, en‑it)에서 최첨단 ST 시스템의 성별 할당에 대한 실증 분석.
• 편향 원인 분리: 모델이 데이터에서 남성 우세를 물려받지만, 음향 신호를 이용해 내부 언어 모델(ILM)의 선호도를 무시하고 성별을 바꿀 수 있음을 보여줍니다.
• 스펙트로그램에 대한 대조적 특징 귀속을 통해 모델이 화자 성별을 추론하는 데 사용하는 주파수 대역을 정확히 파악합니다.
• 새로운 메커니즘 발견: 모델이 1인칭 대명사(“I”, “me”)를 성별 명사와 연결시키며, 단순히 피치가 아니라 분산된 스펙트럼 정보를 활용합니다.
• 분석 재현을 위한 오픈소스 도구(데이터셋, 귀속 스크립트, 시각화) 제공.

Methodology

1. Data & Models – 저자들은 공개 코퍼스를 사용해 영어→스페인어, 영어→프랑스어, 영어→이탈리아어용 엔드‑투‑엔드 ST 모델을 학습합니다. 각 모델은 음향 인코더, 디코더, 그리고 오디오 없이 목표 텍스트를 예측하는 내부 언어 모델(ILM) 구성요소를 포함합니다.
2. Bias Probing – 소스 발화에 1인칭 언급과 성별이 모호한 명사(예: “I am a doctor”)가 포함된 제어 테스트 세트를 만들고, 오디오에서 화자 성별을 남성/여성 음성으로 교체해 번역이 어떻게 변하는지 관찰합니다.
3. Ablation of ILM – ILM을 오디오 없이 단독 실행해 원시 성별 편향을 측정하고, 이를 음향 인코더와 결합해 오디오가 얼마나 이를 뒤집을 수 있는지 확인합니다.
4. Contrastive Feature Attribution – 스펙트로그램에 대한 그래디언트 기반 귀속 방법을 사용해 성별 결정에 가장 큰 영향을 미치는 시간‑주파수 영역을 히트맵으로 시각화합니다.
5. Statistical Analysis – 언어쌍별 성별 정확도를 계산하고, 귀속 패턴과 성능 사이의 상관관계를 분석합니다.

Results & Findings

Practical Implications

• 공정한 사용자 경험 – 성별 추론 방식을 이해하면 음성 비서, 실시간 자막, 다국어 회의 전사 서비스에서 잘못된 성별 지정 문제를 감사하고 완화할 수 있습니다.
• 모델 설계 – 개발자는 ILM과 음향 인코더를 분리하는 방안(예: 편향 정규화 또는 성별 균형 파인튜닝)을 고려해 기본 남성 편향을 감소시킬 수 있습니다.
• 데이터 수집 – 연구는 성별 균형이 잡힌 음성 코퍼스의 필요성을 강조합니다; 여성 화자를 더 많이 추가하면 음향 인코더가 강력한 성별 신호를 학습하는 데 도움이 됩니다.
• 설명 가능성 도구 – 대조적 스펙트로그램 귀속 기법을 디버깅 파이프라인에 통합해 특정 번역이 왜 특정 성별 형태를 선택했는지 시각화할 수 있습니다.
• 규제 준수 – 프라이버시 및 편향 방지 규제가 강화되는 상황에서, 성별 결정에 대한 명확하고 재현 가능한 분석은 AI 기반 번역 서비스의 감사에 도움이 됩니다.

Limitations & Future Work

• 언어 범위 – 분석이 세 로맨스어에만 국한되어 있어, 성별 체계가 더 복잡한 슬라브어 등에서는 다른 동역학이 나타날 수 있습니다.
• 이진 성별 초점 – 연구는 남성 vs. 여성 음성만 구분하며, 비이진 또는 성별 비순응 화자는 다루지 않았습니다.
• 모델 패밀리 – 단일 엔드‑투‑엔드 트랜스포머 아키텍처만 실험했으며, 다른 ST 패러다임(예: 캐스케이드 파이프라인)은 다르게 동작할 수 있습니다.
• 실제 환경 잡음 – 테스트 발화가 깨끗한 상태이므로, 배경 소음이나 겹치는 발화가 모델이 의존하는 음향 신호에 영향을 줄 수 있습니다.

향후 연구 방향으로는 다언어·다대다 ST 모델에 귀속 프레임워크를 확장하고, 편향 완화 전략(예: 적대적 학습)을 탐색하며, 평가 시 성별 스펙트럼을 넓히는 것이 포함됩니다.

Authors

• Lina Conti
• Dennis Fucci
• Marco Gaido
• Matteo Negri
• Guillaume Wisniewski
• Luisa Bentivogli

Paper Information

• arXiv ID: 2511.21517v1
• Categories: cs.CL, cs.AI
• Published: November 26, 2025
• PDF: Download PDF