[논문] Whisper 환각 감지·완화: 은닉 표현 스티어링과 희소 오토인코더 활용

소스: arXiv - 2606.07473v1

개요

Whisper는 널리 사용되는 ASR 모델이지만, 입력과 전혀 무관한 비음성 오디오에 대해 일관된 전사를 생성하는 ‘환각’ 현상이 발생하는 것으로 알려져 있습니다. 우리는 Whisper의 내부 표현을 통해 이러한 환각을 감지하고 완화할 수 있는지를 조사합니다. 오디오 인코더 활성화를 추출하고 두 가지 표현 공간, 즉 원시 Whisper 활성화와 Sparse AutoEncoder (SAE) 잠재 변수를 평가합니다. 두 공간 모두 환각과 관련된 정보를 선형적으로 구분할 수 있음을 보였으며, 판별력은 희소한 특징 부분집합에 집중되고 인코더 층이 깊어질수록 증가합니다. 우리는 두 가지 스티어링 전략, 즉 활성화 공간 스티어링과 SAE 잠재 공간 스티어링을 제안합니다. SAE 기반 스티어링은 전체 비음성 테스트 세트에서 Whisper small의 환각 비율을 72.63%에서 14.11%로, Whisper large‑v3의 경우 86.88%에서 27.33%로 감소시켰으며, 음성 데이터에 대한 WER 저하도 작아 파인튜닝 기반 방법의 성능에 근접합니다.

주요 기여

이 논문은 다음 분야의 연구를 제시합니다:

• cs.SD
• cs.AI

방법론

자세한 방법론은 전체 논문을 참고하시기 바랍니다.

실용적 함의

본 연구는 cs.SD 분야의 발전에 기여합니다.

저자

• Georgii Aparin
• Vadim Popov
• Tasnima Sadekova
• Assel Yermekova

논문 정보

• arXiv ID: 2606.07473v1
• Categories: cs.SD, cs.AI
• Published: 2026년 6월 5일
• PDF: PDF 다운로드