[Paper] ViSAudio: 엔드투엔드 비디오 기반 바이노럴 공간 오디오 생성

Source: arXiv - 2512.03036v1

개요

이 논문은 ViSAudio를 소개한다. ViSAudio는 무음 비디오 클립으로부터 직접 양쪽(좌‑우) 입체 음향을 생성하는 최초의 엔드‑투‑엔드 시스템이다. 새로운 대규모 BiAudio 데이터셋(≈97 K 비디오‑입체 음향 쌍)으로 학습함으로써, 카메라와 음원 움직임에 일관되게 따라가는 몰입형 사운드를 생성할 수 있음을 보여준다—이는 기존의 두 단계 파이프라인이 달성하기 어려웠던 점이다.

주요 기여

• 새로운 과제 정의: 오류가 발생하기 쉬운 모노‑후‑입체화 파이프라인을 제거하고, 비디오 기반 엔드‑투‑엔드 입체 음향 생성.
• BiAudio 데이터셋: 다양한 장면, 카메라 회전, 음원 움직임을 포함한 97 K 실제 비디오‑입체 음향 쌍을 반자동 수집 파이프라인으로 구축.
• ViSAudio 아키텍처:
  • 좌·우 귀에 대한 별도 잠재 흐름을 학습하는 듀얼‑브랜치 조건부 흐름 매칭 네트워크.
  • 시간적 일관성을 유지하면서 양쪽 귀 간 차이를 보존하는 조건부 시공간 모듈.
• 포괄적 평가: 객관적 지표(SI‑SDR, ILD/ITD 오류)와 주관적 청취 테스트 모두에서 최첨단 성능을 달성, 공간적 사실감과 음질에서 우수함을 입증.

방법론

1. 데이터 준비 – 저자들은 더미 헤드 마이크를 이용해 입체 음향을 녹음하고, 동기화된 비디오를 촬영했다. 반자동 파이프라인을 통해 두 모달리티를 정렬하고 저품질 샘플을 필터링해 BiAudio 코퍼스를 만든다.
2. 모델 설계 –
   • 듀얼‑브랜치 흐름 매처: 단일 파형을 생성한 뒤 입체화하는 대신, ViSAudio는 비디오 프레임에 조건부로 두 개의 잠재 궤적(좌·우 귀 각각)을 직접 예측한다. 흐름 매칭은 단순한 가우시안 사전분포를 복잡한 오디오 분포로 한 번에 변환하도록 학습한다.
   • 조건부 시공간 모듈: 비디오 특징(외관 + 움직임)을 교차‑어텐션을 통해 흐름 네트워크에 주입하여, 생성된 좌·우 스트림이 시각적 단서(예: 움직이는 자동차, 회전하는 카메라)와 동기화되도록 한다.
3. 학습 – 시스템은 흐름을 맞추는 가능도 손실과, 일치하지 않는 양쪽 귀의 시간/레벨 차이를 벌점화하는 보조 공간 일관성 손실을 결합해 최적화한다.
4. 추론 – 무음 클립을 입력으로 모델이 비디오에 조건부된 좌·우 잠재 흐름을 샘플링하고, 이를 파형으로 디코딩해 바로 재생 가능한 입체 음향 트랙을 만든다.

결과 및 발견

• 객관적 향상: 낮은 양쪽 귀 레벨 및 시간 차이 오류는 보다 정확한 공간 단서를 의미한다.
• 주관적 청취 테스트: 참가자들은 일관되게 ViSAudio의 오디오가 더 몰입감 있고 시각적 움직임과 잘 맞는다고 평가했다.
• 견고성: 모델은 급격한 카메라 회전, 움직이는 음원, 다양한 음향 환경(실내, 실외, 잔향이 큰 공간)에서도 눈에 띄는 아티팩트 없이 적응한다.

실용적 함의

• VR/AR 콘텐츠 제작 – 개발자는 기존 비디오 자산만으로 현실적인 3‑D 사운드스케이프를 자동 생성할 수 있어 현장 녹음이나 수동 앰비소닉 믹싱 비용을 크게 절감한다.
• 게임 엔진 – 플러그인 형태 통합을 통해 디자이너가 캐릭터·카메라 애니메이션을 입력하면 실시간으로 동기화된 입체 음향을 얻어 플레이어 몰입도를 높일 수 있다.
• 접근성 – 입체 음향은 시각 장애 사용자의 공간 인식을 향상시켜 멀티미디어 애플리케이션에 풍부한 환경 단서를 제공한다.
• 원격 협업 및 텔레프레즌스 – 실시간 비디오 스트림에 공간 음향을 추가하면 추가 마이크 설정 없이도 가상 회의가 보다 “현장감” 있게 느껴진다.

한계 및 향후 연구

• 데이터셋 편향 – 규모는 크지만 BiAudio는 여전히 특정 장면(예: 거리, 실내 방) 위주이며, 대형 콘서트홀 같은 이색 음향 조건을 충분히 포괄하지 못한다.
• 실시간 성능 – 흐름 매칭 추론은 두 단계 파이프라인보다 빠르지만 여전히 GPU 가속이 필요하며, 엣지 디바이스 최적화는 미해결 과제이다.
• 다른 마이크 시스템에 대한 일반화 – 모델은 더미 헤드 입체 녹음에 대해 학습되었으므로, 앰비소닉 등 다른 공간 음향 포맷에 적용하려면 추가 연구가 필요하다.
• 향후 방향: 저자들은 데이터셋을 더 다양한 환경으로 확장하고, 입체 생성 내에서 다중 음원 분리를 탐구하며, 모델을 압축해 디바이스에 탑재하는 방안을 제시한다.

저자

• Mengchen Zhang
• Qi Chen
• Tong Wu
• Zihan Liu
• Dahua Lin

논문 정보

• arXiv ID: 2512.03036v1
• Categories: cs.CV, cs.AI
• Published: December 2, 2025
• PDF: Download PDF