[Paper] DiffusionBrowser: 인터랙티브 디퓨전 프리뷰 via Multi-Branch Decoders

Source: arXiv - 2512.13690v1

Overview

DiffusionBrowser는 lightweight, model‑agnostic 디코더를 도입하여 사용자가 비디오 diffusion models의 denoising 단계 내부를 들여다보고 실시간으로 생성 과정을 제어할 수 있게 합니다. 4초 길이 클립에 대해 1초 미만의 시간 안에 고품질 RGB previews와 scene‑intrinsic maps를 생성함으로써, 전통적으로 불투명하고 느리던 과정을 interactive experience로 바꿉니다.

주요 기여

• Interactive preview decoder: 다중‑브랜치 디코더로, 중간 타임스텝이나 트랜스포머 블록에서 RGB 프레임 및 보조 모달리티(깊이, 세그멘테이션, 옵티컬 플로 등)를 생성할 수 있습니다.
• Real‑time performance: 4배 이상 빠른 실시간 프리뷰 생성(비디오 1초당 약 0.2 초)을 달성합니다.
• Stochasticity reinjection & modal steering: 사용자가 중간 단계에서 무작위성을 다시 도입하거나 특정 모달리티(예: 깊이)를 편향시켜 최종 비디오에 대한 세밀한 제어를 가능하게 합니다.
• Model‑agnostic design: 백본 자체를 재학습하지 않고도 사전 학습된 모든 비디오 디퓨전 백본과 호환됩니다.
• Interpretability toolkit: 학습된 디코더를 활용해 디노이징 과정에서 장면 레이아웃, 객체 정체성, 움직임이 어떻게 점진적으로 조립되는지 탐색합니다.

Methodology

1. Base diffusion model – 저자들은 임의의 기존 비디오 확산 모델(예: Imagen‑Video, Make‑A‑Video)을 사용하여, 잡음이 섞인 잠재 시퀀스를 반복적으로 디노이즈합니다.
2. Multi‑branch decoder – 작은 학습 가능한 네트워크가 확산 백본에 부착됩니다. 선택된 타임스텝이나 트랜스포머 레이어의 은닉 상태를 받아 동시에 다음을 예측합니다:
   • RGB 프레임(시각적 프리뷰)
   • 깊이, 의미 마스크, 광류와 같은 장면 내재 정보.
     디코더는 경량 감독 손실을 사용해 출력이 실제 비디오와 파생된 모달리티와 정렬되도록 학습됩니다.
3. Interactive loop – 추론 중에 사용자는 확산 과정을 어느 단계에서든 일시 중지하고, 디코더에 프리뷰를 요청하며, 필요에 따라 잠재 변수를 수정할 수 있습니다(예: 잡음을 다시 추가하거나 깊이 신호를 주입). 이후 확산은 수정된 상태에서 계속 진행됩니다.
4. Probing analysis – 타임스텝별 디코더 출력을 추출함으로써, 저자들은 고수준 개념(객체, 레이아웃)이 어떻게 나타나는지를 시각화하고, 블랙박스 디노이징 역학을 새로운 관점에서 조명합니다.

결과 및 발견

• 속도: 디코더는 4초 길이의 비디오 미리보기를 1초 미만에 렌더링하며, 원본 확산 모델로 전체 비디오를 생성하는 것보다 4배 빠른 속도를 보입니다.
• 품질: 미리보기 프레임은 최종 출력과 비교했을 때 일관된 색상 팔레트, 움직임 궤적, 그리고 거친 형태를 유지하며, 전체 해상도 비디오에 비해 평균 LPIPS가 0.12 감소합니다.
• 제어: 초기 단계에서 확률성 재주입은 장면 구성을 크게 바꿀 수 있으며, 깊이 고정과 같은 모달 스티어링은 레이아웃을 유지하면서 스타일 변화를 허용합니다.
• 해석 가능성: 시각화 결과는 장면 레이아웃(깊이, 세그멘테이션)이 초기(≈ t = 0.7 T) 단계에서 고정되는 반면, 세밀한 텍스처와 색상 디테일은 이후 단계에서 정제된다는 것을 보여주며, 확산 과정이 거친 단계에서 세밀한 단계로 진행된다는 가설을 확인합니다.

실용적 시사점

• 빠른 프로토타이핑: 제작자는 스토리보드, UI 애니메이션, 광고 목업 등에서 비디오 컨셉을 분이 아니라 초 단위로 반복할 수 있어 피드백 루프가 크게 단축됩니다.
• 인터랙티브 편집 도구: 비디오 편집기(예: After Effects 플러그인)와 통합하면 아티스트가 생성 과정을 일시 중지하고 깊이·모션을 조정한 뒤 다시 재개할 수 있어 “실시간” 디퓨전 편집이 가능합니다.
• 디버깅 및 안전: 생성 파이프라인을 구축하는 개발자는 프리뷰 디코더를 활용해 원치 않는 아티팩트를 조기에 발견함으로써 연산 낭비를 줄이고 전체 합성 전에 유해 출력을 완화할 수 있습니다.
• 크로스모달 응용: 디코더가 깊이, 세그멘테이션, 흐름을 출력하므로, 후속 작업(예: AR 배치, 충돌 감지)에서 최종 비디오를 기다리지 않고도 이러한 중간 정보를 활용할 수 있습니다.

Limitations & Future Work

• Decoder capacity vs. fidelity: 경량 디코더는 세밀한 텍스처 디테일을 속도와 트레이드오프합니다; 매우 고해상도 프리뷰는 여전히 지연될 수 있습니다.
• Dependency on backbone quality: 모델에 독립적이지만, 프리뷰 품질은 기본 diffusion 모델의 표현 능력에 의해 제한됩니다.
• User interface design: 논문은 기술적 실현 가능성을 보여주지만, 인터랙티브 제어(예: 확률성 재주입을 위한 UI 위젯)의 인체공학적 설계는 향후 연구에 맡깁니다.
• Extending to other modalities: 향후 작업에서는 오디오 프리뷰나 텍스트‑투‑비디오 조건화를 추가하고, 디코더를 diffusion 백본과 공동 학습시켜 보다 긴밀한 통합을 탐구할 수 있습니다.

저자

• Susung Hong
• Chongjian Ge
• Zhifei Zhang
• Jui‑Hsien Wang

논문 정보

• arXiv ID: 2512.13690v1
• 카테고리: cs.CV, cs.AI, cs.GR, cs.LG
• 출판일: 2025년 12월 15일
• PDF: PDF 다운로드