[Paper] Stream-DiffVSR: 저지연 스트리밍 가능한 비디오 초해상도 via 자동회귀 확산

Source: arXiv - 2512.23709v1

개요

이 논문은 Stream‑DiffVSR을 소개한다. 이는 확산 기반 비디오‑초고해상도(VSR) 시스템으로, 온라인으로 작동한다 – 과거 프레임만을 참고하며 RTX 4090에서 약 0.33 s당 720p 비디오를 업스케일할 수 있다. 인과성 및 속도를 고려해 확산 파이프라인을 재설계함으로써, 저자들은 확산 모델의 높은 지각 품질과 스트리밍, 화상 회의, AR/VR과 같은 실시간 애플리케이션의 저지연 요구 사이의 격차를 메운다.

주요 기여

• 인과적 확산 프레임워크: 이전에 수신된 프레임만 사용하도록 보장하여 진정한 스트리밍 VSR을 가능하게 함.
• 4단계 증류 디노이저: 일반적인 수십 단계 확산 과정을 단 4번의 추론 단계로 압축하여 기존 확산 VSR에 비해 지연 시간을 >130× 감소시킴.
• 자동 회귀형 시간 가이드(ARTG): 과거 프레임의 움직임 정보를 잠재 디노이징 단계에 직접 정렬하여 비용이 많이 드는 광류 후처리 없이도 시간 일관성을 유지함.
• Temporal Processor Module(TPM)과 함께하는 시간 인식 디코더: 프레임 간 시간 일관성을 유지하면서 공간 세부 정보를 정제하는 경량 헤드.
• 최첨단 성능: 현재 온라인 VSR 최고 성능 모델(TMP)을 지각 메트릭(LPIPS +0.095)에서 능가하면서 훨씬 빠르고, 확산 기반 VSR에서 가장 낮은 지연 시간(0.328 s vs. >4600 s 초기 지연)을 기록함.

Methodology

1. Causal Conditioning – 모델은 이미 생성된 고해상도 프레임들의 슬라이딩 윈도우와 현재 저해상도 입력을 받습니다. 미래 프레임에 접근하지 않으며, 이는 스트리밍에 필수적입니다.
2. Distilled Diffusion – 기존 확산 모델은 20‑100개의 디노이징 단계가 필요합니다. 저자들은 전체 확산 궤적을 단 4단계만에 근사하도록 학습된 지식 증류 디노이저를 훈련시켰으며, 이는 이미지에 대한 “fast diffusion”과 유사합니다.
3. Auto‑regressive Temporal Guidance (ARTG) – 각 디노이징 단계 전에, 잠재 표현을 이전 고해상도 출력에서 추출한 움직임 정렬 특징으로 미세 조정합니다. 이는 가벼운 움직임 추정기를 사용해 과거 특징을 워핑하고, 이를 조건 벡터로 주입함으로써 수행됩니다.
4. Temporal Processor Module (TPM) – 최종 디노이징 단계 이후, 컴팩트 디코더가 잠재 변수를 목표 해상도로 업샘플링합니다. TPM은 짧은 히스토리(예: 최근 3프레임)를 살펴 플리커를 완화하고 세부 정보를 강화하는 시간적 어텐션 블록을 포함합니다.
5. Training – 전체 파이프라인은 고프레임 레이트 비디오 데이터셋에 대해 엔드‑투‑엔드로 학습되며, 지각 손실(LPIPS), 재구성 손실(L1), 그리고 프레임 간 차이를 벌점화하는 시간 일관성 손실을 사용합니다.

결과 및 발견

• 지각 품질: LPIPS 향상으로 텍스처가 눈에 띄게 선명해지고, 특히 머리카락이나 잎사귀와 같은 고주파 영역에서 잡음이 감소합니다.
• 시간적 일관성: 시각적 검사와 시간 일관성 손실을 통해 단순 프레임별 디퓨전 방식에 비해 깜빡임 현상이 크게 줄어든 것을 확인할 수 있습니다.
• 속도: 4단계 증류 디노이저와 ARTG/TPM을 결합해 추론 비용을 전통적인 CNN 기반 VSR 수준으로 낮추면서도 디퓨전 수준의 디테일을 유지합니다.

실용적인 시사점

• Live streaming & video conferencing – 플랫폼은 미래 프레임을 버퍼링하지 않고 실시간으로 저해상도 스트림을 업스케일하여 대역폭이 제한된 사용자에게 더 선명한 영상을 제공할 수 있습니다.
• Edge‑AI devices – 가벼운 디코더와 제한된 디퓨전 단계 덕분에 고성능 소비자용 GPU는 물론 최적화된 온디바이스 가속기(예: NVIDIA Jetson)에서도 실행이 가능해집니다.
• AR/VR content pipelines – 720p(또는 1080p) 텍스처를 실시간으로 업스케일하면 지연 시간이 엄격한 제약인 혼합 현실 애플리케이션에서 시각적 충실도를 향상시킬 수 있습니다.
• Content creation tools – 편집자는 고품질 업스케일된 영상을 즉시 미리 볼 수 있어 VFX 및 후반 작업 워크플로를 가속화합니다.

제한 사항 및 향후 작업

• 하드웨어 의존성 – 보고된 프레임당 0.328 s는 RTX 4090에서 달성되었습니다; 보다 저사양 GPU나 CPU에서는 성능이 느려지므로, 보다 넓은 배포를 위해 추가 모델 압축이 필요할 수 있습니다.
• 시간 윈도우 크기 – ARTG와 TPM은 짧은 히스토리(보통 3‑5 프레임)에 의존합니다. 매우 빠른 움직임이나 장거리 의존성은 여전히 가끔 시간적 아티팩트를 발생시킬 수 있습니다.
• 학습 데이터 편향 – 모델은 공개 비디오 데이터셋으로 학습되었습니다; 도메인 특화 콘텐츠(예: 의료 영상, 과학 시각화)는 미세 조정이 필요할 수 있습니다.
• 향후 방향은 저자들이 제안한 바와 같이 포함합니다:
  • 계층적 업스케일링을 사용해 고해상도(4K)로 인과 확산 아이디어를 확장하기.
  • 더 쉬운 프레임이 적은 확산 단계를 사용하도록 적응형 단계 스케줄링 탐색하기.
  • ARTG 모듈과 파라미터를 공유하는 학습된 움직임 추정을 통합해 오버헤드 감소하기.

Stream‑DiffVSR은 확산 모델이 더 이상 오프라인, 배치 처리 비디오 향상에만 국한되지 않음을 보여줍니다. 인과성, 지식 증류, 그리고 영리한 시간적 가이드를 결합함으로써 실제 응용에서 고품질, 저지연 VSR의 문을 열었습니다.

저자

• Hau-Shiang Shiu
• Chin-Yang Lin
• Zhixiang Wang
• Chi-Wei Hsiao
• Po-Fan Yu
• Yu-Chih Chen
• Yu-Lun Liu

논문 정보

• arXiv ID: 2512.23709v1
• 분류: cs.CV
• 발행일: 2025년 12월 29일
• PDF: Download PDF