[Paper] MAViD: 오디오-비주얼 대화 이해 및 생성을 위한 멀티모달 프레임워크

Source: arXiv - 2512.03034v1

Overview

MAViD는 멀티모달 오디오‑비주얼 대화 시스템을 도입하여 사용자 질의를 이해하고 현실감 있는 장시간 비디오‑플러스‑스피치 응답을 생성할 수 있습니다. 깊은 멀티모달 융합과 제어 가능한 생성이라는 두 가지 과제를 해결함으로써, 텍스트 전용 챗봇을 넘어 몰입감 있고 인간과 같은 상호작용을 구현하는 대화형 에이전트를 제시합니다.

Key Contributions

• Conductor‑Creator architecture: 추론(Conductor)과 콘텐츠 합성(Creator)을 분리하여 움직임과 음성에 대한 세밀한 제어를 가능하게 함.
• Hybrid AR‑Diffusion generation: 자동회귀 오디오 모델과 확산 기반 비디오 모델을 결합해 고품질·시간적으로 일관된 시청각 클립을 생성.
• Novel multimodal fusion module: 연속 비디오 클립과 오디오 스트림을 명시적으로 연결해 긴 대화 동안 정체성, 음색, 톤을 유지.
• End‑to‑end training pipeline: 이해, 지시 생성, 시청각 합성을 하나의 통합 데이터셋에서 공동 최적화.
• Extensive evaluation: 기존 비대화형 베이스라인에 비해 일관된 장시간 대화와 우수한 시각·음향 품질을 입증.

Methodology

1. Understanding & Instruction (Conductor)

   • 멀티모달 사용자 질의(텍스트, 오디오, 비디오)를 받아 인식·추론·계획을 수행.
   • 원하는 응답을 동작 계획(시각적으로 무엇이 일어나야 하는지)과 음성 계획(어떤 말을 해야 하는지, 톤·음색 포함) 두 개의 지시 스트림으로 분해.

2. Content Synthesis (Creator)

   • Audio branch: 자동회귀 트랜스포머가 음성 계획에 조건화된 멜‑스펙트로그램 프레임을 예측해 자연스러운 억양과 화자 일관성을 보장.
   • Video branch: 확산 모델(DiT‑style)이 동작 계획으로부터 비디오 프레임을 생성하고, 오디오 출력을 가이드로 사용해 입술 싱크와 제스처 정렬을 유지.

3. Fusion Module

   • 교차‑모달 어텐션과 시간 합성곱을 이용해 연속 클립 간 오디오·비디오 스트림을 연결, 30초 대화가 단일 연속 장면처럼 느껴지게 함.

4. Training

   • 각 턴에 사용자 입력, 정답 응답 비디오, 전사된 음성이 포함된 맞춤형 오디오‑비주얼 대화 데이터셋으로 학습.
   • 손실은 언어 모델링, 오디오 재구성(L1 + adversarial), 비디오 확산(denoising score matching), 그리고 멀티모달 일관성 항을 결합.

Results & Findings

• Coherence: 인간 평가자는 MAViD의 대화를 가장 강력한 베이스라인(텍스트‑투‑비디오 모델 + 별도 TTS)보다 23 % 더 맥락적으로 일관되다고 평가.
• Audio‑Video Sync: 입술 싱크 오류가 베이스라인 0.42 s에서 0.07 s로 감소, 실제 녹음에 근접.
• Identity Preservation: 30초 상호작용 동안 화자 정체성(얼굴, 음성 음색)이 95 % 이상 유지, 확산 전용 파이프라인에서 발생하던 드리프트 현상이 크게 개선.
• Generation Speed: 하이브리드 AR‑Diffusion 설계 덕분에 순수 확산 방식보다 2.3배 빠른 추론 속도를 달성, RTX 4090 한 대로 거의 실시간 상호작용 가능.

Practical Implications

• Virtual Assistants & Customer Service: 제품 시연을 보여주면서 설명하는 에이전트를 배치해 정적 스크린샷이나 별도 비디오 클립에 대한 의존도를 감소.
• E‑learning & Training: 학습자의 질문에 실시간으로 맞춤형 튜토리얼 비디오를 생성, 일관된 강사 아바타 유지.
• Gaming & XR: 믿을 만한 말과 제스처를 가진 인터랙티브 NPC를 제공해 손수 제작한 컷신 없이도 풍부한 스토리 경험 구현.
• Content Creation: 스크립트와 시각 스토리보드를 하나의 멀티모달 프롬프트로부터 자동 생성해 설명 영상이나 마케팅 릴을 자동화.

Limitations & Future Work

• Dataset Bias: 학습 코퍼스가 몇몇 도메인(예: 실내 장면, 영어 화자)으로 제한돼 야외나 다국어 환경에 대한 일반화가 어려울 수 있음.
• Compute Requirements: 순수 확산보다 빠르긴 하지만, 엣지 디바이스에서 실시간 배포하려면 여전히 하드웨어 가속이 필요.
• Fine‑Grained Control: 현재 지시의 세분화가 동작 vs. 음성 수준에만 국한돼 있어, 향후 스타일·감정·카메라 파라미터 등을 개발자에게 노출할 계획.
• Evaluation Metrics: 장시간 멀티모달 일관성을 측정할 객관적 지표가 아직 부족하며, 이를 위한 벤치마크 스위트를 개발할 예정.

Authors

• Youxin Pang
• Jiajun Liu
• Lingfeng Tan
• Yong Zhang
• Feng Gao
• Xiang Deng
• Zhuoliang Kang
• Xiaoming Wei
• Yebin Liu

Paper Information

• arXiv ID: 2512.03034v1
• Categories: cs.CV
• Published: December 2, 2025
• PDF: Download PDF