[Paper] V-RGBX: 내재적 속성에 대한 정확한 제어를 통한 비디오 편집

Source: arXiv - 2512.11799v1

Overview

이 논문은 V‑RGBX를 소개한다. V‑RGBX는 비디오의 내재적 속성(알베도, 표면 법선, 재질 파라미터, 조명 등)을 이해하고 편집할 수 있는 최초의 엔드‑투‑엔드 시스템이며, 출력은 포토리얼리스틱하고 시간적으로 안정적이다. 역렌더링과 생성 비디오 모델을 결합함으로써, V‑RGBX는 사용자가 몇 개의 키프레임만 편집하면(예: 자동차 색을 바꾸거나 방을 재조명) 그 변경 사항이 물리적으로 타당한 방식으로 전체 클립에 자동으로 전파된다.

Key Contributions

• Unified Intrinsic‑Aware Pipeline – 비디오 역렌더링, 내재 조건부 합성, 키프레임 기반 편집을 하나의 학습 가능한 프레임워크로 결합.
• Interleaved Conditioning Mechanism – 내재 지도(알베도, 법선, 재질, 조도)를 비디오 확산 모델에 주입하는 새로운 방법으로, 세밀하고 물리적으로 근거 있는 제어를 가능하게 함.
• Temporal Consistency Guarantees – 아키텍처와 손실 설계가 프레임 간 일관성을 보장하여 많은 비디오‑투‑비디오 모델에서 발생하는 깜빡임을 방지.
• Keyframe Editing Interface – 사용자는 희소한 프레임 집합에서任意의 내재 채널을 편집하고, 시스템은 편집을 비디오 전체에 자동으로 전파.
• State‑of‑the‑Art Results – 여러 벤치마크에서 기존 비디오 편집 및 내재 분해 방법보다 우수한 시각 품질과 편집 충실도를 입증.

Methodology

1. Video Inverse Rendering – 백본 인코더가 입력 비디오를 처리해 프레임별 내재 지도를 예측한다:

   • Albedo (확산 색)
   • Normal (표면 방향)
   • Material (반사/거칠기)
   • Irradiance (조명)

   이 지도들은 원본 프레임과 일치하도록 단순한 미분 가능 렌더러를 사용해 렌더링된 이미지와의 차이를 최소화하는 재구성 손실과 함께 공동 학습된다.

2. Intrinsic‑Conditioned Video Synthesis – 비디오 확산 모델(공간‑시간 텐서에 작용하는 3‑D UNet)이 내재 지도를 조건 입력으로 사용한다. “interleaved conditioning”은 여러 확산 단계에서 저수준(픽셀‑단위)과 고수준(전역) 내재 특징을 번갈아 주입하여, 생성기가 외관을 세밀하게 제어하면서도 움직임 단서를 유지하도록 한다.

3. Keyframe Editing Loop – 사용자는 소수의 키프레임에서 任意의 내재 지도를 수정한다(예: 자동차를 빨간색으로 칠하거나 창문을 밝게). 편집된 지도는 해당 프레임의 원본을 대체하고, 확산 모델은 혼합된 내재 시퀀스를 조건으로 비디오를 재생성한다. 시간 전파 손실이 편집된 속성이 인접 프레임으로 부드럽게 흐르도록 보장한다.

4. Training Objectives – 시스템은 다음 손실들의 조합을 최적화한다:

   • 역렌더링을 위한 재구성 손실
   • 합성을 위한 확산 디노이징 손실
   • 광류‑가이드 시간 일관성 손실
   • 내재 정규화(부드러움, 물리적 타당성)

Results & Findings

• Photorealism & Consistency – V‑RGBX는 기존 방법(예: 비디오‑투‑비디오 GAN, 프레임별 확산)보다 높은 PSNR/SSIM과 낮은 시간 왜곡 오류를 달성한다.
• Edit Fidelity – 편집된 알베도에 대한 L2 오류와 같은 정량적 지표가 키프레임에서 만든 변화가 복잡한 움직임에서도 전체 클립에 정확히 재현됨을 보여준다.
• User Study – 참가자들은 “움직이는 자동차 색 바꾸기”, “실내 장면 재조명”과 같은 작업에서 V‑RGBX 출력이 경쟁 도구보다 현실감이 높고 깜빡임이 없다고 선호했다.
• Speed – 확산 모델은 계산 비용이 크지만, 저자는 내재 지도를 시간 축에 재사용함으로써 프레임당 확산보다 약 2‑3배 빠른 추론 속도를 보고한다.

Practical Implications

• Content Creation Pipelines – V‑RGBX는 VFX나 게임 자산 파이프라인에 통합되어 전체 씬을 다시 렌더링하지 않고도 조명이나 재질 변화를 빠르게 프로토타이핑할 수 있다.
• AR/VR Real‑Time Editing – 내재 지도를 한 번 저장하면 장치에서 재조명이나 색상 변경에 재사용할 수 있어 최소한의 대역폭으로 인터랙티브 경험을 제공한다.
• Automated Post‑Production – 스튜디오는 긴 촬영분에 걸친 색 보정이나 객체 수준 리터칭 같은 반복 작업을 자동화해 아티스트가 창의적 결정에 집중하도록 할 수 있다.
• Data Augmentation – 다양한 날씨·재질 조건을 제어 가능한 합성 비디오 데이터를 생성해 견고한 인식 모델 학습에 활용할 수 있다.

Limitations & Future Work

• Compute Requirements – 확산 백본이 여전히 고성능 GPU를 필요로 하며, 실시간 편집은 아직 어려움.
• Intrinsic Ambiguities – 고도로 반사되거나 투명한 장면에서는 역렌더링 단계가 알베도/법선 분할에 모호성을 보이며, 편집 정확도가 제한될 수 있다.
• Limited Modalities – 현재 구현은 네 가지 내재 채널만 지원한다. 서브서피스 스캐터링이나 체적 조명 등으로 확장하면 적용 범위가 넓어질 것이다.
• User Interface – 논문에서는 스크립트를 통한 키프레임 편집을 보여주지만, 비전문가 아티스트를 위한 정교한 UI는 아직 개발 중이다.

전반적으로 V‑RGBX는 물리적으로 근거 있는 사용자 친화적 비디오 편집을 향한 중요한 진전이며, 차세대 시각 콘텐츠 도구를 구축하는 개발자들에게 새로운 가능성을 열어준다.

Authors

• Ye Fang
• Tong Wu
• Valentin Deschaintre
• Duygu Ceylan
• Iliyan Georgiev
• Chun-Hao Paul Huang
• Yiwei Hu
• Xuelin Chen
• Tuanfeng Yang Wang

Paper Information

• arXiv ID: 2512.11799v1
• Categories: cs.CV
• Published: December 12, 2025
• PDF: Download PDF