[Paper] In-Context Sync-LoRA를 활용한 인물 비디오 편집

Source: arXiv - 2512.03013v1

Overview

포트레이트 비디오 편집은 피사체의 외모, 표정, 주변 환경을 자연스러운 움직임 흐름을 깨뜨리지 않고 조정해야 하는 크리에이터들에게 오랫동안 어려운 과제였습니다. 논문 In-Context Sync‑LoRA for Portrait Video Editing은 비디오의 첫 번째 프레임만 편집하고 그 변화를 전체 클립에 자동으로 전파하면서 모든 프레임을 원본 움직임과 피사체의 정체성에 완벽히 동기화시키는 diffusion‑기반 파이프라인을 소개합니다.

Key Contributions

• Sync‑LoRA framework: 소스 비디오의 움직임 단서와 첫 번째 프레임에 적용된 시각적 편집을 융합하도록 학습되는 인‑컨텍스트 Low‑Rank Adaptation (LoRA).
• Automatic paired‑video generation: 동일한 움직임 궤적을 공유하지만 외관이 다른 비디오 쌍을 생성하는 동기화 기반 필터링 파이프라인.
• Compact, highly curated dataset: 수백 개의 긴밀히 동기화된 포트레이트 비디오만으로도 보지 못한 얼굴과 다양한 편집에 일반화되는 모델을 학습할 수 있음.
• Frame‑accurate temporal consistency: 각 편집된 프레임이 해당 소스 프레임의 움직임과 픽셀 단위로 정렬되도록 보장하여 눈 깜빡임이나 머리 회전 같은 미세한 동역학을 보존함.
• Broad edit scope: 외모 변화(예: 머리 색, 메이크업), 객체 삽입, 배경 교체, 표정 조정 등을 단일 레퍼런스 편집만으로 지원함.

Methodology

1. Base diffusion model – 저자들은 단일 이미지 프롬프트로부터 비디오 시퀀스를 생성할 수 있는 이미지‑투‑비디오 diffusion 모델을 시작점으로 사용합니다.
2. First‑frame edit – 사용자는 Photoshop, 텍스트‑투‑이미지 프롬프트 등任意의 이미지 편집 도구를 이용해 첫 번째 프레임을 편집합니다. 이 편집된 프레임이 전체 클립의 시각적 목표가 됩니다.
3. In‑context LoRA training – 가벼운 LoRA 모듈을 자동으로 생성된 비디오 쌍에 대해 미세 조정합니다. 각 쌍은 정확히 동일한 움직임(광학 흐름으로 캡처)을 공유하지만 외관이 달라, LoRA가 소스의 움직임을 “듣고” 편집된 첫 프레임의 새로운 시각적 스타일을 “말하도록” 학습합니다.
4. Synchronization filtering – 학습 전에 파이프라인은 움직임 궤적이 흐트러지는 쌍을 제거하여 모델이 완벽히 정렬된 예시만 보게 합니다.
5. Propagation – 추론 시, 소스 비디오는 움직임 임베딩을 제공하고, 편집된 첫 프레임은 시각적 임베딩을 제공하며, 학습된 LoRA가 이를 결합해 이후 각 프레임을 합성함으로써 프레임‑별 정렬을 보장합니다.

Results & Findings

• High visual fidelity – 정성적 비교에서 피부 질감과 머리카락 가닥 같은 미세 디테일을 유지하면서 선명하고 아티팩트가 없는 편집 결과를 보여줍니다.
• Temporal coherence – 정량적 지표(예: temporal warping error)가 기존 diffusion‑기반 비디오 편집기 대비 약 30 % 감소하여 더 긴밀한 동기화를 확인합니다.
• Generalization – 학습 중 보지 못한 정체성과 포즈에서도 Sync‑LoRA는 정체성 드리프트 없이 의도한 편집을 안정적으로 재현합니다.
• Edit versatility – 동일 모델이 미묘한 메이크업 변화부터 머리에 자연스럽게 움직이는 가상 객체(예: 모자) 삽입까지 다양한 작업을 처리합니다.

Practical Implications

• Content creation pipelines – 비디오 편집자는 이제 친숙한 도구로 단일 이미지 수준의 편집을 적용하고 자동으로 완전 편집된 비디오를 얻을 수 있어 프레임‑별 수작업을 크게 줄일 수 있습니다.
• Live‑stream graphics – 실시간 아바타나 가상 발표자를 입술 싱크나 머리 움직임 타이밍을 깨뜨리지 않고 즉시 스킨을 교체할 수 있습니다.
• Post‑production for ads & games – 브랜드는 원본 퍼포먼스 캡처를 유지하면서 머리 색, 액세서리 등 다양한 변형을 빠르게 생성할 수 있습니다.
• Developer APIs – 경량 LoRA 덕분에 모델을 기존 diffusion 라이브러리(예: Diffusers)의 플러그인 형태로 제공할 수 있어 비디오 편집 SaaS 플랫폼에 손쉽게 통합할 수 있습니다.

Limitations & Future Work

• Scope limited to portrait videos – 현재 데이터셋은 정면 또는 약간 측면을 보는 인간 머리에 초점이 맞춰져 있어 전신이나 비인간 피사체로 확장하려면 더 폭넓은 학습 데이터가 필요합니다.
• Dependence on accurate motion alignment – 소스 비디오에 급격하고 불규칙한 움직임이 포함될 경우 동기화 필터가 유용한 쌍을 많이 버릴 수 있어 학습 효율이 떨어집니다.
• Edit granularity tied to first‑frame quality – 매우 복잡한 다중 객체 편집은 고해상도 첫 프레임 입력이나 추가 조건이 필요할 수 있습니다.
• Future directions 제안에는 데이터셋을 다양한 인구통계학적 특성으로 확장, 첫 프레임 대신 다중 프레임 조건화 탐색, 엣지 디바이스에서 실시간 추론을 위한 LoRA 최적화 등이 포함됩니다.

Authors

• Sagi Polaczek
• Or Patashnik
• Ali Mahdavi‑Amiri
• Daniel Cohen‑Or

Paper Information

• arXiv ID: 2512.03013v1
• Categories: cs.CV, cs.AI, cs.GR
• Published: December 2, 2025
• PDF: Download PDF