Stable Video Diffusion: 대규모 데이터셋에 대한 잠재 비디오 확산 모델 확장

Source: Dev.to

개요

Stable Video Diffusion은 간단한 텍스트 프롬프트나 단일 이미지에서 짧은 비디오 클립을 생성하는 새로운 도구입니다. 결과는 놀라울 정도로 부드럽고 사실적입니다.

학습 파이프라인

모델은 현실적인 움직임을 학습하기 위해 대규모, 신중하게 선별된 비디오 데이터셋으로 학습됩니다. 학습은 세 단계로 진행됩니다:

1. 이미지 사전 학습 – 정지 이미지에서 시각적 개념을 학습합니다.
2. 비디오 사전 학습 – 다양한 비디오 컬렉션에서 시간적 역학을 학습합니다.
3. 미세 조정 – 고품질 영상에 모델을 정제하여 충실도를 향상시킵니다.

이 다단계 접근 방식은 모델이 외관과 움직임 모두에 대한 강력한 이해를 갖게 합니다.

기능

• 텍스트‑투‑비디오 생성으로 일관된 움직임과 카메라 움직임을 제공합니다.
• 이미지‑투‑비디오 확장으로 단일 사진을 움직이는 장면으로 변환합니다.
• 객체의 여러 시점을 추론할 수 있어 간단한 3‑D‑유사 다중 뷰 표현을 제공합니다.
• 고품질이며 부드러운 비디오 클립을 생성하여 다운스트림 애플리케이션에 재사용할 수 있습니다.

이용 가능성

코드와 모델 체크포인트가 공개적으로 릴리스되어 크리에이터가 실험하고, 미세 조정하며, 시스템 위에 새로운 도구를 구축할 수 있습니다.

추가 읽을거리

Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets – Paperium.net의 종합 리뷰.