[Paper] HiStream: 중복 제거 스트리밍을 통한 효율적인 고해상도 비디오 생성

Source: arXiv - 2512.21338v1

Overview

HiStream은 확산 모델을 사용한 고해상도 비디오 생성이라는 오래된 병목 현상을 해결합니다. 공간, 시간 및 디노이징 단계 전반에 걸쳐 중복 계산을 체계적으로 제거함으로써, 저자들은 기존 방법에 비해 비용의 일부만으로 1080p 비디오를 생성할 수 있는 프레임워크를 제공합니다—이를 통해 개발자와 미디어 파이프라인에 진정한 고품질 비디오 합성이 실용화됩니다.

주요 기여

• Spatial compression pipeline – 저해상도 버전을 먼저 디노이징한 뒤, 캐시된 고수준 특징을 재사용하여 전체 해상도 디퓨전을 매 프레임마다 다시 계산하는 것을 피하면서 업샘플링합니다.
• Temporal chunking with anchor cache – 고정 크기의 청크로 비디오를 처리하고, 청크 간 생성 안정성을 유지하며 비디오 길이에 관계없이 일정한 추론 속도를 제공하는 작은 “anchor” 캐시를 유지합니다.
• Timestep compression for later chunks – 이미 캐시된 정보에 조건화된 청크에 대해 디퓨전 단계 수를 줄여, 눈에 띄는 품질 손실 없이 연산량을 감소시킵니다.
• Two model variants – HiStream (공간 + 시간 최적화)은 최신 시각 품질을 유지하면서 최대 76× 속도 향상을 달성합니다; HiStream+ (타임스텝 압축 추가)는 속도 향상을 **107×**까지 끌어올리지만 충실도에 약간의 트레이드오프가 있습니다.
• Extensive 1080p benchmark – 강력한 Wan2.1 베이스라인에 비해 우수한 지각 품질(FVD, LPIPS, 사용자 연구로 측정)을 보여주며 실행 시간을 크게 단축합니다.

방법론

HiStream은 고해상도 비디오 디퓨전을 autoregressive streaming problem으로 재구성합니다:

1. Low‑resolution denoising – 모델은 먼저 다운스케일된 비디오(예: 240p)에서 표준 디퓨전 과정을 실행합니다. 이 저렴한 패스는 전체적인 움직임과 대략적인 외관을 포착합니다.
2. Feature caching – 저해상도 패스에서 얻은 중간 잠재 특징을 저장합니다. 고해상도 업샘플링 단계가 실행될 때, 이 캐시된 특징을 조건으로 사용하므로, 비용이 많이 드는 고해상도 디퓨전은 처음부터 시작하는 것이 아니라 세부 사항을 정제하는 데만 집중하면 됩니다.
3. Chunk‑by‑chunk temporal processing – 비디오를 겹치는 청크(예: 8 프레임)로 나눕니다. “anchor” 프레임(또는 몇 개의 프레임)은 고정‑크기 캐시에 보관되어 인접 청크 간에 재사용되며, 메모리를 제한하면서도 시간적 일관성을 보장합니다.
4. Reduced timesteps for later chunks – 이후 청크는 이미 anchor 캐시에서 컨텍스트를 상속받기 때문에, 디퓨전 스케줄을 단축(디노이징 단계 감소)할 수 있어 계산량을 추가로 줄일 수 있습니다.

이 세 가지 트릭은 서로 독립적이며 결합될 수 있어, HiStream+가 최대 속도를 위해 이를 모두 쌓아놓은 이유입니다.

Results & Findings

• 시각적 품질: 사용자 연구 결과, 대폭적인 속도 향상에도 불구하고 HiStream이 베이스라인보다 85 % 이상 선호되는 것으로 나타났습니다.
• 확장성: 고정 크기의 앵커 캐시 덕분에 비디오 길이가 늘어나도 추론 시간은 대체로 일정하게 유지됩니다.
• 메모리 사용량: 캐싱 전략을 통해 전체 해상도 확산 방식에 비해 GPU 메모리 사용량이 약 40 % 감소합니다.

Practical Implications

• Content creation pipelines – 스튜디오와 인디 개발자는 이제 단일 GPU로 몇 분 안에 1080p(또는 그 이상) 영상을 생성할 수 있어, 빠른 프로토타이핑, AI‑기반 VFX, 그리고 게임 내 실시간 비디오 합성의 문을 열어줍니다.
• Real‑time or near‑real‑time applications – HiStream의 스트리밍 특성은 지연 시간이 중요한 인터랙티브 도구(예: AI‑구동 비디오 편집기, 라이브‑스트림 오버레이)에 적합합니다.
• Edge deployment – 무거운 디퓨전 작업이 저해상도에서 수행되고 고해상도 정제가 캐시된 특징을 재사용하기 때문에, 이 접근 방식은 장치 간에 분할할 수 있습니다(예: 서버에서 저해상도, 로컬 워크스테이션에서 고해상도 업샘플링).
• Cost reduction – 70‑100× 속도 향상은 클라우드 GPU 비용을 직접 낮추어, SaaS 플랫폼에서 대규모 비디오 생성이 경제적으로 가능하게 합니다.

제한 사항 및 향후 작업

• HiStream+에서의 품질 트레이드‑오프 – 추가적인 타임스텝 압축으로 인지 메트릭이 눈에 띄지만 여전히 미미한 감소가 발생합니다; 도메인별로 스케줄을 미세 조정해야 할 수 있습니다.
• 캐시 크기와 시간적 충실도 – 고정된 앵커 캐시는 중간 정도의 움직임에서는 잘 작동하지만 매우 빠르거나 고동적인 장면에서는 어려움을 겪을 수 있습니다; 적응형 캐시 크기 조정이 견고성을 향상시킬 수 있습니다.
• 초고해상도(4K/8K) 일반화 – 저자들은 현재의 공간 압축 파이프라인이 극한 해상도에서 여전히 메모리 급증을 일으킨다고 언급하며, 계층적 또는 다중 스케일 확산 전략의 필요성을 제시합니다.
• 다양한 모달리티 테스트 확대 – 실험은 자연 비디오에 초점을 맞추고 있으며, 애니메이션, 의료 영상, 혹은 합성 데이터 스트림으로 확장하는 것은 아직 열려 있는 분야입니다.

전반적으로 HiStream은 고해상도 비디오 확산을 개발자와 산업에 실용화하기 위한 중요한 단계이며, 추가적인 정교화와 넓은 채택을 위한 명확한 경로를 남깁니다.

저자

• Haonan Qiu
• Shikun Liu
• Zijian Zhou
• Zhaochong An
• Weiming Ren
• Zhiheng Liu
• Jonas Schult
• Sen He
• Shoufa Chen
• Yuren Cong
• Tao Xiang
• Ziwei Liu
• Juan‑Manuel Perez‑Rua

논문 정보

• arXiv ID: 2512.21338v1
• 분류: cs.CV
• 출판일: 2025년 12월 24일
• PDF: PDF 다운로드