[Paper] CURVE: 문화 및 다언어 장기 비디오 추론을 위한 벤치마크

Source: arXiv - 2601.10649v1

Overview

The paper introduces CURVE, a new benchmark that pushes video‑understanding models to reason about long, culturally diverse videos in many languages. By moving beyond the usual Western‑centric, English‑only datasets, CURVE exposes how current Video‑LLMs handle real‑world visual cues that are tied to specific cultures and languages.

개요

이 논문은 CURVE라는 새로운 벤치마크를 소개합니다. CURVE는 비디오 이해 모델이 길고 문화적으로 다양한 여러 언어의 비디오에 대해 추론하도록 요구합니다. 기존의 서구 중심·영어 전용 데이터셋을 넘어섬으로써, CURVE는 현재 Video‑LLM이 특정 문화와 언어에 연결된 실제 시각적 단서를 어떻게 처리하는지를 드러냅니다.

주요 기여

• 다문화·다언어 벤치마크 – 18개의 전 세계 로케일에 대해 각각 모국어 비디오 클립, 질문, 답변 및 다단계 추론 트레이스를 제공합니다.
• 인간이 생성한 주석 – 번역을 포함한 모든 콘텐츠가 원어민에 의해 제작되어 자동 번역 파이프라인의 잡음을 피합니다.
• 증거 기반 추론 그래프 – 저자들은 제공된 추론 단계를 구조화된 그래프로 변환하여 모델의 추론 오류 지점을 정확히 찾아낼 수 있게 합니다.
• 반복적 오류 분석 전략 – 추론 그래프를 활용해 세밀한 지각 및 추론 실패를 분리하는 새로운 방법입니다.
• 포괄적 평가 – 최신 Video‑LLM들을 벤치마크하여 인간 성능과의 큰 격차를 드러내고 문화적 인식이 가장 큰 병목임을 강조합니다.

방법론

1. Data collection – 18개 지역 각각의 큐레이터가 현지와 관련된 장시간 비디오(예: 축제, 스포츠, 일상 생활)를 수집했습니다.
2. Annotation pipeline – 원어민이 시각적 맥락, 문화적 관습, 언어적 뉘앙스를 이해해야 하는 복잡하고 다단계 질문을 작성했습니다. 각 질문에 대해 단계별 추론 체인과 최종 답변을 원래 언어로 제공했습니다.
3. Graph construction – 각 추론 체인은 시각적 또는 텍스트 엔터티를 나타내는 노드와 논리적 의존성을 포착하는 엣지(예: “무용가의 의상 → 전통 의식을 나타냄”)로 구성된 방향 그래프로 변환됩니다.
4. Iterative evaluation – 모델은 먼저 답변과 추론 추적을 생성합니다. 이 추적을 정답 그래프와 정렬하고, 불일치는 특정 노드로 되돌려 시각 인지, 언어 이해, 논리 추론 중 어느 부분에서 오류가 발생했는지 보고할 수 있게 합니다.

이 파이프라인은 개발자가 자체 비디오 데이터를 사용해 재현하거나 확장할 수 있도록 의도적으로 간단하게 유지되었습니다.

결과 및 발견

• 모국어에서의 성능 저하: 모든 모델이 비디오 원본 언어로 답변할 때 약 7‑10 % 감소하며, 다국어 기반이 주요 과제임을 확인합니다.
• 오류 분류: 추론‑그래프 분석에 따르면, 실패의 약 60 %는 문화적 시각 단서(예: 전통 의복, 지역 음식) 오인식에서 비롯되고, 약 25 %는 언어 파싱 문제, 나머지 약 15 %는 논리 연결 오류에서 발생합니다.
• 인간 수준 격차: 가장 강력한 Video‑LLM조차 인간 주석가보다 50 % 이상 뒤처져, 현재 아키텍처가 깊은 문화적 상황 인식을 결여하고 있음을 보여줍니다.

실용적 의미

• 글로벌 제품 현지화 – 비디오 기반 어시스턴트, 콘텐츠 모더레이션 도구, 혹은 추천 엔진을 구축하는 기업은 CURVE를 활용해 모델이 지역별 콘텐츠를 실제로 이해하는지 감시함으로써 사용자 경험에서 문화적 편향을 줄일 수 있습니다.
• 다국어 비디오 검색 – 강의 녹화, 문화 다큐멘터리 등 긴 비디오를 색인하는 검색 엔진은 CURVE의 모국어 쿼리를 이용해 교차 언어 검색 파이프라인을 벤치마킹하고 개선할 수 있습니다.
• 안전 및 규정 준수 – 자동 모더레이션 시스템은 문화적으로 민감한 장면(예: 종교 의식)을 대상으로 평가하여 문화적 상징을 오인식함으로써 발생하는 오탐·미탐을 방지할 수 있습니다.
• 모델 디버깅 – 증거 그래프 프레임워크는 엔지니어에게 잘못된 답변을 특정 시각 인식 오류로 추적할 수 있는 구체적인 방법을 제공하여, 예를 들어 특정 전통 의상의 사례를 추가하는 등 목표 지향적인 데이터 증강을 가능하게 합니다.

전반적으로 CURVE는 전 세계에 배포될 비디오‑AI 제품에 대한 현실적인 “스트레스 테스트”를 제공합니다.

제한 사항 및 향후 작업

• 지역 범위 – 18개 지역이 광범위하게 다루지만, 많은 언어와 하위 문화가 여전히 대표되지 않음(예: 토착 집단, 저자원 언어).
• 정적 주석 스타일 – 추론 단계가 수작업으로 만들어졌으며, 향후 작업에서는 다양성을 높이기 위해 크라우드소싱이나 모델 생성 추적을 탐색할 수 있음.
• 모델 중심 초점 – 벤치마크는 기존 Video‑LLM을 평가하지만 아키텍처 변화를 제안하지 않음; 문화적 사전(예: 지식 그래프)을 통합하는 방향으로 작업을 확장하는 것이 열린 과제임.
• 확장성 – 고품질 다국어 장시간 비디오를 선별하는 데 많은 인력이 필요함; 주석 정확성을 유지하면서 파이프라인 일부를 자동화하는 것이 유망한 연구 방향임.

이러한 격차를 해소함으로써 커뮤니티는 세계 문화의 풍부함을 존중하고 반영하는 진정한 범용 비디오 이해 시스템을 향해 나아갈 수 있다.

저자

• Darshan Singh
• Arsha Nagrani
• Kawshik Manikantan
• Harman Singh
• Dinesh Tewari
• Tobias Weyand
• Cordelia Schmid
• Anelia Angelova
• Shachi Dave

논문 정보

• arXiv ID: 2601.10649v1
• 분류: cs.CV
• 발행일: 2026년 1월 15일
• PDF: PDF 다운로드