[Paper] 생성은 압축이다: Zero-Shot 비디오 코딩 via Stochastic Rectified Flow

Source: arXiv - 2603.26571v1

번역을 진행하려면 번역하고자 하는 본문 텍스트를 제공해 주세요.

개요

이 논문은 Generative Video Codec (GVC) 를 소개한다. 이는 사전 학습된 비디오 생성 모델을 코덱 자체로 재활용하는 새로운 “zero‑shot” 비디오 압축 시스템이다. 전송된 비트스트림을 모델의 확률적 디코딩 경로에 대한 명령 집합으로 간주함으로써, GVC는 작업‑특정 재학습이 필요 없으며 (≈ 0.002 bpp)와 같은 초저비트레이트에서도 높은 시각적 품질을 달성한다.

핵심 기여

• Zero‑shot generative codec – 결정론적 rectified‑flow ODE를 추론 시점에 동등한 확률 미분 방정식(SDE)으로 변환하여 생성 경로를 직접 압축할 수 있게 함.
• Three conditioning paradigms that cover the main use‑cases:
  1. Image‑to‑Video (I2V) – 키프레임에서 시작해 이후 프레임을 위해 “tail‑frame atoms”를 적응적으로 할당.
  2. Text‑to‑Video (T2V) – 부가 정보로 텍스트 프롬프트만 사용하고, 전적으로 생성 사전(prior)에 의존.
  3. First‑Last‑Frame‑to‑Video (FLF2V) – 첫 프레임과 마지막 프레임을 모두 사용해 디코딩을 고정, GOP‑스타일 체이닝과 보다 정밀한 시간 제어 가능.
• Unified bitrate control – 하나의 하이퍼파라미터(확률적 노이즈 스케일)로 공간 충실도, 시간 일관성, 압축 효율성을 부드럽게 트레이드‑오프.
• State‑of‑the‑art low‑bitrate performance – 표준 벤치마크에서 < 0.002 bpp 수준의 학습 기반 비디오 코덱과 동등하거나 그보다 뛰어난 복원 품질을 입증.

방법론

1. Backbone model – 저자들은 rectified‑flow 로 학습된 최신 비디오 기반 모델을 시작점으로 삼으며, 이는 잠재 코드를 비디오 시퀀스로 매핑하는 결정론적 ordinary differential equation (ODE) 를 정의합니다.
2. ODE → SDE conversion – 추론 단계에서 ODE 를 동등한 stochastic differential equation (SDE) 로 재구성합니다. 이를 통해 각 디코딩 단계마다 제어 가능한 노이즈 주입 지점을 도입할 수 있습니다.
3. Codebook‑driven compression – 잠재 궤적을 학습된 코드북을 사용해 양자화합니다. 비트스트림은 선택된 코드북 엔트리의 인덱스와 몇 가지 조건 신호(예: 키프레임, 텍스트 프롬프트, 경계 프레임)로 구성됩니다.
4. Conditioning strategies –
   • I2V: 첫 번째 프레임을 무손실로 전송하고, 이후 프레임은 첫 번째 프레임과 압축된 “tail‑frame atoms” 집합을 조건으로 하여 생성합니다.
   • T2V: 텍스트 설명만 전송하며, 모델 내부의 사전이 모든 시각적 세부 정보를 채워 넣습니다.
   • FLF2V: 첫 프레임과 마지막 프레임을 모두 전송하고, 모델은 내부 GOP 간에 잠재 코드를 공유하면서 중간 프레임을 보간합니다.
5. Bitrate tuning – 확률적 노이즈 스케일(또는 동등하게 단계당 코드북 엔트리 수)을 조정함으로써 인코딩되는 정보량을 직접 제어할 수 있어, 재학습 없이도 부드러운 rate‑distortion 곡선을 얻을 수 있습니다.

결과 및 발견

세 가지 변형 모두에서 GVC는 대상 비디오에 대한 파인‑튜닝이 필요한 최신 생성 비디오 코덱보다 일관되게 우수한 성능을 보이며, 단일 사전 학습 모델만 사용합니다. 실험 결과는 또한 단일 하이퍼파라미터 하나로 전체 레이트‑왜곡 곡선을 스윕할 수 있어 배포가 간소화된다는 것을 보여줍니다.

Practical Implications

• Developer‑friendly deployment – 비디오별 또는 도메인별 파인튜닝이 필요 없으며, 단일 사전 학습 모델을 라이브러리 형태로 제공하여 바로 사용할 수 있다.
• Edge and bandwidth‑constrained scenarios – 초저비트레이트(< 0.002 bpp) 덕분에 네트워크 용량이 부족한 IoT 카메라, AR/VR 스트리밍, 원격 감시 등에 GVC가 매력적이다.
• Dynamic content generation – T2V 모드가 텍스트 프롬프트로 실시간 비디오 합성을 가능하게 하여, 개인화된 비디오 광고, UI 애니메이션 빠른 프로토타이핑, 대용량 비디오 파일 저장 없이 게임 자산 생성 등의 가능성을 열어준다.
• Flexible bitrate control – 런타임에 확률적 노이즈 스케일을 조정함으로써, 재인코딩이나 모델 업데이트 없이도 서비스가 사용자별로 품질과 지연시간·비용을 교환할 수 있다.
• Compatibility with existing pipelines – 비트스트림이 코드북 인덱스 시퀀스와 선택적 앵커 프레임으로만 구성되므로, MP4, WebM 등 컨테이너 포맷과의 통합이 간단하다.

제한 사항 및 향후 연구

• 기본 생성 모델에 대한 의존성 – GVC의 품질 상한은 사전 학습된 비디오 기반 모델에 의해 제한됩니다; 개선을 위해서는 코덱 조정이 아니라 더 좋은 기본 모델이 필요합니다.
• 고동적 장면에서의 시간적 아티팩트 – 빠른 움직임이나 급격한 장면 전환은 특히 최소한의 부가 정보만 있는 T2V 설정에서 깜박임이나 환상적인 디테일을 여전히 발생시킬 수 있습니다.
• 계산 비용 – 디코딩은 반복적인 SDE 시뮬레이션을 포함하며, 이는 전통적인 블록 기반 코덱보다 비용이 많이 듭니다; 저전력 장치에서 실시간 성능을 구현하는 것은 아직 해결되지 않은 과제입니다.
• 표준화 – 맞춤형 코드북과 확률적 궤적 포맷은 아직 어떤 비디오 코딩 표준에도 포함되지 않았으므로, 광범위한 채택을 위해서는 커뮤니티 합의나 래퍼 도구가 필요합니다.

저자들이 제안한 향후 연구 방향은 다음과 같습니다:

1. 더 빠른 디코딩을 위한 효율적인 SDE 솔버 설계.
2. 혼합 품질 스트림을 위해 GVC와 기존 코덱을 결합하는 하이브리드 방안 탐색.
3. 조건 공간 확대(예: 오디오 기반 비디오 생성)하여 실제 적용 범위 확대.

저자

• Ziyue Zeng
• Xun Su
• Haoyuan Liu
• Bingyu Lu
• Yui Tatsumi
• Hiroshi Watanabe

논문 정보

• arXiv ID: 2603.26571v1
• 분류: cs.CV, cs.AI
• 출판일: 2026년 3월 27일
• PDF: PDF 다운로드