[Paper] Harmony: 오디오와 비디오 생성의 교차 작업 시너지로 조화

Source: arXiv - 2511.21579v1

Overview

논문 **“Harmony: Harmonizing Audio and Video Generation through Cross‑Task Synergy”**는 생성 AI에서 핵심 병목 현상인 음성‑시각 콘텐츠가 소리와 이미지가 긴밀히 동기화된 상태로 생성되는 문제를 다룹니다. 현재 확산 기반 모델이 동기화에서 벗어나는 원인을 분석하고, 시각·청각 품질을 손상시키지 않으면서 정렬을 크게 개선하는 일련의 기법을 제안합니다.

Key Contributions

• Cross‑Task Synergy training – 오디오‑구동 비디오 생성과 비디오‑구동 오디오 생성을 공동으로 학습시켜, 각 모달리티를 서로에 대한 강력한 감독 신호로 활용합니다.
• Global‑Local Decoupled Interaction (GLDI) module – 거친 전역 어텐션과 세밀한 로컬 시간 상호작용을 분리하여 효율적이고 정밀한 타이밍 정렬을 가능하게 합니다.
• Synchronization‑Enhanced Classifier‑Free Guidance (SyncCFG) – 표준 CFG 추론 단계를 수정해 교차 모달 정렬 요소를 분리하고 강화합니다.
• State‑of‑the‑art results – 벤치마크 데이터셋에서 기존 오픈소스 방법에 비해 높은 충실도와 현저히 향상된 세밀한 음‑시 정렬을 달성합니다.

Methodology

1. Problem Diagnosis – 저자들은 공동 확산에서 세 가지 실패 모드를 확인했습니다:

   • Correspondence Drift: 오디오와 비디오에 대한 잡음이 섞인 잠재 업데이트가 시간이 지남에 따라 발산합니다.
   • Inefficient Global Attention: 기존 트랜스포머가 정렬에 필요한 미세한 시간 단서를 놓칩니다.
   • Intra‑modal CFG Bias: 기존 CFG는 조건부 생성을 강화하지만 교차 모달 타이밍은 무시합니다.

2. Cross‑Task Synergy – 단일 오디오‑투‑비디오 혹은 비디오‑투‑오디오 모델을 학습하는 대신, Harmony는 동일한 확산 프레임워크 내에서 두 작업을 교대로 수행합니다. 한 작업의 출력(예: 생성된 비디오)이 반대 작업에 대한 “ground‑truth” 가이드 역할을 하여 잠재 궤적을 고정하고 드리프트를 감소시킵니다.

3. GLDI Module – 확산 백본을 다음과 같이 분할합니다:

   • global branch: 가벼운 어텐션 맵으로 전체 장면 컨텍스트를 포착합니다.
   • local branch: 짧은 시간 윈도우에 집중하여, 오디오 파형과 비디오 프레임 시퀀스를 정렬하는 특수 상호작용 레이어를 적용합니다.

   이 분리는 계산량을 관리 가능하게 유지하면서 입술 싱크, 발소리 등 정밀 타이밍을 보존합니다.

4. SyncCFG – 추론 시, 가이드 항을 정렬 부분과 내용 부분으로 분해합니다. SyncCFG는 정렬 항을 증폭시켜 모델이 원본 프롬프트를 유지하면서도 오디오와 비디오를 정확히 맞추도록 합니다.

Results & Findings

• Quantitative Gains: Harmony는 SyncScore(시간 정렬 지표)를 이전 최고 오픈소스 베이스라인 대비 약 30 % 향상시키고, 시각 품질에 대한 FID/IS 점수도 상승시켰습니다.
• Qualitative Improvements: 사용자 연구에서 참가자들은 빠른 말하기, 악기 연주, 역동적인 액션 씬 등 어려운 상황에서도 Harmony가 생성한 클립을 현저히 “동기화가 잘 된” 것으로 평가했습니다.
• Efficiency: GLDI 모듈은 전체 해상도 트랜스포머 대비 어텐션 관련 FLOPs를 약 40 % 절감하여, RTX 4090 하나로 5초 클립을 8초 이내에 생성할 수 있게 했습니다.

Practical Implications

• Content Creation Pipelines: 영상 편집자와 게임 개발자는 이제 배경 음악/효과음과 일치하는 시각을 동시에 생성하는 단일 오픈소스 모델을 활용해 수동적인 입술 싱크나 포리 작업을 크게 줄일 수 있습니다.
• Interactive Media & VR: 실시간 아바타나 가상 비서는 음성·제스처 간의 긴밀한 일치를 유지해 사용자 몰입감을 향상시킵니다.
• Accessibility Tools: 자동 캡션이나 수화 생성 시스템은 동기화된 음‑시 출력 덕분에 청각 장애인에게 더 신뢰성 높은 서비스를 제공할 수 있습니다.
• Rapid Prototyping: AI 기반 광고나 소셜 미디어 콘텐츠를 제작하는 스타트업은 Harmony를 플러그‑앤‑플레이 모듈로 통합해 별도의 오디오·비디오 생성 스택이 필요 없는 빠른 프로토타이핑이 가능합니다.

Limitations & Future Work

• Domain Generalization: 모델은 정제된 데이터셋(예: 말‑구동 클립, 음악 공연)으로 학습되었습니다. 추상 애니메이션과 같은 고도로 스타일화된 비자연적 콘텐츠에서는 성능이 저하될 수 있습니다.
• Long‑Form Consistency: 10초 이하의 짧은 클립에서는 정렬이 잘 유지되지만, 긴 서사에서는 동기화를 지속하는 데 여전히 어려움이 있습니다.
• Hardware Requirements: GLDI 효율성 향상에도 불구하고 고품질 생성에는 최신 GPU가 필요합니다. 경량 추론 변형은 아직 연구 단계입니다.

향후 연구에서는 긴 시퀀스를 위한 커리큘럼 학습, 특수 미디어 스타일을 위한 도메인 적응 파인튜닝, 텍스트‑투‑스피치 모델과의 통합을 통해 완전한 엔드‑투‑엔드 멀티모달 생성 스위트를 구축하는 방향을 탐색할 수 있습니다.

Authors

• Teng Hu
• Zhentao Yu
• Guozhen Zhang
• Zihan Su
• Zhengguang Zhou
• Youliang Zhang
• Yuan Zhou
• Qinglin Lu
• Ran Yi

Paper Information

• arXiv ID: 2511.21579v1
• Categories: cs.CV
• Published: November 26, 2025
• PDF: Download PDF