[Paper] AVGen-Bench: 작업 기반 벤치마크 for 텍스트-오디오-비디오 생성의 다중-Granular 평가

Source: arXiv - 2604.08540v1

Overview

논문은 AVGen‑Bench라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 텍스트‑투‑오디오‑비디오 (T2AV) 생성 시스템을 실제 창작 작업과 유사한 방식으로 평가하도록 설계되었습니다. 다양한 고품질 프롬프트와 다중‑입자 평가 파이프라인을 제공함으로써, 저자들은 중요한 격차를 드러냅니다: 현재 모델들은 시각적·청각적으로 매력적인 클립을 생성할 수 있지만, 사용자가 실제로 중요하게 여기는 세밀한 의미적 디테일을 놓치는 경우가 많습니다.

주요 기여

• 작업 기반 벤치마크 11개의 현실적인 카테고리(예: 뉴스 보도, 음악 공연, 교육 영상)를 포괄.
• 고품질, 인간이 만든 프롬프트로, 오디오‑비주얼 공동 추론이 필요(예: “비오는 옥상에서 ‘반짝반짝 작은 별’ 연주하는 바이올리니스트”).
• 다중‑입체 평가 프레임워크는 경량 전문 모델(오디오 품질, 비디오 선명도, 음성 이해도)과 **멀티모달 대형 언어 모델(MLLMs)**을 결합해 세밀한 의미 검사를 수행.
• 포괄적인 진단 분석을 통해 텍스트 렌더링, 음성 일관성, 물리적 추론, 특히 생성된 음악의 피치 제어에서 체계적인 실패를 밝혀냄.
• 오픈‑소스 공개: 벤치마크 데이터, 평가 스크립트, 베이스라인 결과 제공: http://aka.ms/avgenbench.

Methodology

1. Prompt Collection – 도메인 전문가들이 11개 카테고리에 걸쳐 1,200개의 프롬프트를 작성했으며, 각 프롬프트는 객체, 행동, 소리, 음성, 음악 음표와 같은 상세한 시청각 제약을 명시합니다.
2. Generation Pipeline – 기존 최첨단 T2AV 모델(e.g., AudioLDM + Video Diffusion, Make‑It‑Talk)을 프롬프트에 적용하여 합성 클립의 레퍼런스 세트를 생성했습니다.
3. Evaluation Stack
   • Perceptual Layer: 오프‑더‑쉘프 모델(e.g., 비디오용 VMAF, 오디오용 PESQ)을 사용해 저수준 품질을 평가합니다.
   • Semantic Layer: 특화된 탐지기(OCR을 통한 화면 텍스트, ASR을 통한 음성, 피치 트래킹을 통한 음악)를 활용해 생성된 콘텐츠가 프롬프트와 일치하는지 검증합니다.
   • MLLM Layer: 멀티모달 LLM(e.g., GPT‑4V)이 클립과 프롬프트를 입력받아 교차 모달 일관성을 포착하는 자연어 판단을 제공합니다.
4. Scoring – 각 레이어의 점수를 결합하여 multi‑granular metric을 만들고, 이를 통해 다운스트림 사용 사례에 따라 미학, 충실도, 제어 가능성 중 하나를 우선순위로 조정할 수 있습니다.

결과 및 발견

• Aesthetic Scores (perceptual quality)는 대부분의 모델에서 비교적 높았으며 (평균 VMAF ≈ 78, PESQ ≈ 3.2), 시각 및 청각 충실도가 빠르게 향상되고 있음을 나타냅니다.
• Semantic Reliability는 크게 뒤처졌습니다:
  • 텍스트 렌더링은 **31 %**의 경우에만 성공했습니다.
  • 음성 일관성(정확한 단어, 자연스러운 억양)은 **38 %**로 감소했습니다.
  • 물리적 추론 오류(예: 물체가 떠 있음, 그림자 불일치)는 **45 %**의 클립에서 나타났습니다.
  • 음악 생성에서 Pitch control은 거의 보편적으로 실패했으며 (≈ 5 % 정확) 거의 구현되지 않았습니다.
• MLLM evaluator는 인간 판단과 강하게 상관관계가 있었으며 (ρ ≈ 0.78), 수동 검토에 대한 확장 가능한 대리자로서의 유용성을 확인했습니다.

Practical Implications

• Tooling for Creators – 개발자들이 T2AV 저작 도구를 만들 때 다중‑입자 메트릭을 통합하여 사용자가 생성된 클립이 스크립트를 실제로 만족하는지(단순히 시각·음향적으로 좋은 것뿐 아니라) 실시간 피드백을 제공할 수 있습니다.
• Model Debugging – 계층화된 진단은 실패 원인(예: OCR vs. 피치 트래킹)을 정확히 짚어내어, 확산 모델을 무작정 확장하는 대신 목표 지향적인 개선을 가능하게 합니다.
• Product Roadmaps – 기업은 원시 시각 품질에 더 투자하기 전에 의미론적 제어 가능성(텍스트 오버레이, 음성 정확도) 연구를 우선순위에 둘 수 있어, 제품 기능을 사용자 기대에 맞출 수 있습니다.
• Standardized Evaluation – AVGen‑Bench는 신흥 T2AV 생태계에 공통된 기준을 제공하여 공정한 비교를 촉진하고, 진정한 “프롬프트‑투‑미디어” 파이프라인으로의 진전을 가속화합니다.

제한 사항 및 향후 작업

• 현재 벤치마크는 영어 프롬프트에 초점을 맞추고 있으며, 다국어 또는 문화적 특수성을 포착하지 못할 수 있습니다.
• 전문 탐지기(OCR, 피치 트래킹) 자체가 완벽하지 않아 의미 점수에 편향을 일으킬 수 있습니다.
• 이 연구는 공개된 소수의 T2AV 모델만 평가했으며, 보다 폭넓은 범위(독점 시스템 포함)를 포함하면 결론을 강화할 수 있습니다.
• 향후 확장에서는 인터랙티브 프롬프트(예: 단계적 편집)를 추가하고 인간‑인‑루프 평가를 탐색하여 자동 메트릭과 창의적 워크플로 사이의 격차를 더욱 메울 수 있습니다.

저자

• Ziwei Zhou
• Zeyuan Lai
• Rui Wang
• Yifan Yang
• Zhen Xing
• Yuqing Yang
• Qi Dai
• Lili Qiu
• Chong Luo

논문 정보

• arXiv ID: 2604.08540v1
• 카테고리: cs.CV, cs.AI, cs.CL
• 출판일: 2026년 4월 9일
• PDF: PDF 다운로드