[Paper] 3D 포인트 트랙을 활용한 생성 비디오 모션 편집

Source: arXiv - 2512.02015v1

Overview

이 논문은 트랙‑조건 비디오‑투‑비디오 (V2V) 생성 프레임워크를 소개한다. 이 프레임워크를 사용하면 기존 영상에서 카메라 움직임과 객체 움직임을 동시에 편집할 수 있다. 소스 비디오와 원하는 움직임 궤적 사이를 연결하는 희소 3D 포인트 트랙을 활용함으로써, 시스템은 현실적인 깊이 처리, 가림(occlusion) 추론, 그리고 시간적 일관성을 유지하며 장면을 재생성한다—이는 기존 이미지‑투‑비디오 또는 V2V 방법들이 달성하기 어려웠던 점이다.

Key Contributions

• 3D 포인트‑트랙 조건화: 쌍을 이루는 3D 포인트 트랙(소스 ↔ 타깃)을 사용해 생성 파이프라인에 명시적인 깊이 단서를 주입함으로써 정확한 움직임 전이와 가림 처리를 가능하게 한다.
• 카메라 & 객체 동시 편집: 하나의 모델 안에서 전역 카메라 움직임과 로컬 객체 동역학을 동시에 조작할 수 있다.
• 두 단계 학습 체계: 첫 단계에서는 대규모 합성 데이터셋으로 사전 학습해 견고한 기하학 학습을 수행하고, 두 번째 단계에서는 실제 비디오 데이터에 미세 조정하여 자연스러운 외관 변화를 포착한다.
• 다양한 움직임 제어: 하나의 추론 단계만으로 움직임 전이, 비강체 변형, 그리고 카메라/객체 변환을 모두 시연한다.
• 희소 대응 전이: 적은 수의 3D 트랙만으로도 고품질 결과를 달성해, 밀집 흐름 방식에 비해 주석 작업 부담을 크게 줄인다.

Methodology

1. 입력 표현

   • 소스 비디오 (V_s) (RGB 프레임).
   • 3D 포인트 트랙 ({p_i^s(t)}) – (V_s)에서 추출 (예: 구조‑from‑motion 또는 깊이‑인식 트래커 사용).
   • 타깃 트랙 ({p_i^t(t)}) – 원하는 움직임을 인코딩 (수작업, 다른 클립에서 전이, 혹은 절차적으로 생성 가능).

2. 트랙‑조건 생성기

   • 시공간 UNet이 각 프레임을 처리하면서, 상대 3D 변위 (\Delta p_i(t) = p_i^t(t) - p_i^s(t))를 인코딩한 트랙 임베딩을 받는다.
   • 이 임베딩은 공간적으로 브로드캐스트되어, 네트워크가 깊이‑인식 움직임 단서에 기반해 픽셀 수준 합성을 조절할 수 있게 한다.

3. 깊이‑인식 가림 처리

   • 트랙이 3D에 존재하므로 모델은 깊이 순서를 추론할 수 있다: 뒤로 이동하는 포인트는 적절한 가림 마스크를 생성해 2D‑트랙 방식에서 흔히 발생하는 유령 현상을 방지한다.

4. 학습 파이프라인

   • 1단계 (합성): 알려진 기하와 움직임을 가진 렌더링 씬에서 실제 3D 트랙을 제공받아, 네트워크가 깊이와 움직임 일관성을 학습한다.
   • 2단계 (실제): 실제 비디오 클립에 대해 3D 트랙을 추정 (예: COLMAP + optical flow)하고 미세 조정한다. 자체‑감독 재구성 손실과 비디오 현실성을 위한 적대적 손실이 모델을 안내한다.

5. 추론

   • 사용자는 소스 클립과 타깃 3D 트랙 집합(또는 움직임‑전이 소스)을 제공한다. 생성기는 지정된 움직임을 따르면서 원본 씬의 외관과 느낌을 유지한 새로운 비디오를 출력한다.

Results & Findings

저자들은 다양한 편집 사례를 보여준다: 움직이는 자동차를 유지하면서 카메라를 회전시키기, 댄서의 움직임을 다른 퍼포머에 전이하기, 그리고 장면 일관성을 깨뜨리지 않고 깃발을 늘이는 등 비강체 변형 적용 등.

Practical Implications

• 포스트‑프로덕션 & VFX: 편집자는 이제 촬영을 다시 하거나 수동 로토스코핑 없이도 카메라 움직임이나 객체 행동을 재목표화할 수 있어, 노동 집약적인 합성 작업을 크게 줄일 수 있다.
• AR/VR 콘텐츠 제작: 개발자는 깊이‑인식 움직임 제어 덕분에 사용자 주도 카메라 경로에 맞춰 몰입형 비디오 자산을 생성할 수 있다.
• 게임 에셋 파이프라인: 모션 캡처 데이터를 기존 비디오에 전이시켜 시네마틱 컷‑신을 빠르게 프로토타이핑할 수 있다.
• 자동화된 비디오 개인화: 브랜드는 제품 비디오(예: 스마트폰 회전)를 다양한 광고 포맷에 맞게 자동으로 재배향하면서 현실적인 조명과 가림을 유지할 수 있다.
• 오픈‑소스 툴링: 이 방법은 상용 SfM 라이브러리로 얻을 수 있는 희소 3D 트랙에 의존하므로, 기존 비디오 편집 스위트에 비교적 적은 엔지니어링 노력으로 통합 가능하다.

Limitations & Future Work

• 트랙 획득 오버헤드: 희소하지만 정확한 3D 트랙을 만들려면 신뢰할 수 있는 구조‑from‑motion 파이프라인이 필요하다; 텍스처가 부족하거나 빠른 움직임이 있는 경우 결과가 저하될 수 있다.
• 복잡한 비강체 움직임: 매우 고주파 변형(예: 물 튀김)은 희소 트랙의 한계 때문에 아직 어려운 편이다.
• 긴 클립에 대한 확장성: 시간 메모리가 제한적이어서 매우 긴 시퀀스는 청크 단위 처리해야 할 수 있으며, 이 경우 경계가 생길 가능성이 있다.
• 향후 방향: 저자들은 학습 기반 트랙 추론(3D 트랙과 비디오 합성을 공동 추정), 인터랙티브 UI 도구(실시간 트랙 편집), 그리고 다중 카메라 설정(스테레오 또는 360° 콘텐츠)으로 프레임워크를 확장하는 방안을 제시한다.

Authors

• Yao-Chih Lee
• Zhoutong Zhang
• Jiahui Huang
• Jui-Hsien Wang
• Joon-Young Lee
• Jia-Bin Huang
• Eli Shechtman
• Zhengqi Li

Paper Information

• arXiv ID: 2512.02015v1
• Categories: cs.CV
• Published: December 1, 2025
• PDF: Download PDF