[논문] 입술읽기 격차: VSR 모델이 인간처럼 시각적 말을 인식할까?

개요

시각적 언어 인식(VSR) 모델은 현재 벤치마크에서 인간 입술 읽기 전문가를 능가하고 있지만, 이러한 향상이 인간과 같은 시각적 언어 지각을 의미할까요? 이를 탐구하기 위해 우리는 MaFI 단어 수준 입술 읽기 데이터셋에서 세 가지 VSR 시스템을 인간 기준과 비교했으며, 단어, 문자, 음소, 그리고 비셈(시각적 음소) 수준의 지표를 사용했습니다. 모델은 전체 정확도에서 인간보다 높지만, 성공하고 실패하는 단어가 인간과 다릅니다. 초기 몇 개의 음소만을 제공받은 텍스트 전용 n-그램 베이스라인도 인간 입술 읽기와 맞먹는 성능을 보였습니다. VSR의 단어 수준 오류는 단어의 시각적 정보량보다 훈련 데이터에서의 단어 빈도에 의해 더 일관되게 설명됩니다. 비셈 정확도, 혼동 행렬, 인간‑모델 상관관계 분석은 모델이 인간이 가장 어려워하는 비셈에서 가장 큰 향상을 보이며, 시각적 명료도에 대한 의존도는 훨씬 약함을 보여줍니다. 우리의 연구는 VSR 시스템이 시각적 인식보다는 훈련 데이터의 언어적 단서에 주로 의존하며, 시각적 특징을 의미 있는 단어로 결합하는 데 실패한다는 점을 입증합니다.

주요 기여

• cs.CV
• cs.CL

방법론

자세한 방법론은 전체 논문을 참고하십시오.

실용적 함의

이 연구는 cs.CV 분야의 발전에 기여합니다.

저자

• Rishabh Jain
• Naomi Harte

논문 정보

• arXiv ID: 2606.07435v1
• Categories: cs.CV, cs.CL
• Published: 2026년 6월 5일
• PDF: Download PDF