[Paper] MultiShotMaster: 제어 가능한 멀티샷 비디오 생성 프레임워크

Source: arXiv - 2512.03041v1

Overview

이 논문은 MultiShotMaster라는 새로운 프레임워크를 소개한다. 최첨단 단일 샷 비디오 생성기를 확장하여 여러 카메라 “샷”으로 구성된 짧은 영화나 제품 시연과 같은 멀티‑샷 비디오를 생성할 수 있게 만든다. 두 가지 새로운 로터리‑포지션‑임베딩(RoPE) 기법을 추가함으로써 사용자는 각 샷의 순서, 길이, 시각적 레퍼런스를 지정하면서 전체 내러티브의 일관성을 유지할 수 있다.

Key Contributions

• Multi‑Shot Narrative RoPE – 연속된 샷을 깔끔하게 구분하는 위상 이동 메커니즘으로, 시간 연속성을 깨뜨리지 않으면서 유연한 샷 순서 변경을 가능하게 한다.
• Spatiotemporal Position‑Aware RoPE – 특정 프레임과 위치에 grounding cue(예: 레퍼런스 이미지, 객체 마스크)를 주입하여 언제 어디서 무엇이 나타나는지에 대한 세밀한 제어를 제공한다.
• Automated multi‑shot dataset pipeline – 기존 비디오 코퍼스에서 멀티‑샷 클립, 캡션, 크로스‑샷 grounding 신호, 레퍼런스 이미지를 자동으로 추출해 라벨링 데이터 부족 문제를 완화한다.
• Unified controllable generation – 텍스트 기반 샷 간 일관성, 객체 수준 모션 제어, 배경 수준 씬 커스터마이징을 지원하며, 샷 수와 지속 시간을 자유롭게 설정할 수 있다.
• Extensive empirical validation – 기존 단일 샷 생성기 대비 높은 충실도, 향상된 내러티브 일관성, 뛰어난 제어성을 입증한다.

Methodology

1. Base Model – 저자들은 사전 학습된 단일 샷 확산 비디오 생성기(예: Imagen Video 또는 Make‑It‑Video)를 기반으로 시작한다.
2. RoPE Extensions
   • Narrative RoPE: 각 샷마다 위치 인코딩을 학습된 위상 오프셋만큼 회전시킨다. 이를 통해 샷 간에 “시간적 간격”을 만들고, 모델이 이를 별개의 구간으로 인식하면서도 전역 타임라인을 공유하도록 한다.
   • Spatiotemporal‑Aware RoPE: 추가 토큰이 공간 마스크 또는 레퍼런스 이미지를 인코딩한다. 이 임베딩은 사용자가 지정한 정확한 프레임과 공간 위치에서 확산 과정에 혼합된다.
3. Data Annotation Pipeline – 샷 경계 탐지, 캡션 정렬, 시각적 grounding 추출을 결합해 원시 비디오로부터 자동으로 멀티‑샷 학습 데이터를 구축한다.
4. Training & Inference – 새로운 데이터셋에 대해 모델을 파인튜닝하여 내러티브 RoPE(샷 순서)와 grounding RoPE(객체가 나타나는 시점/위치)를 모두 준수하도록 학습한다. 추론 시 사용자는 다음을 제공한다:
   • 스토리를 설명하는 고수준 스크립트(텍스트 프롬프트)
   • 각 샷에 대한 선택적 레퍼런스 이미지 또는 마스크
   • 원하는 샷 길이와 전체 비디오 지속 시간

Results & Findings

• Narrative Coherence – 인간 평가자들은 MultiShotMaster의 멀티‑샷 비디오가 단순히 단일 샷 출력을 이어붙인 경우보다 스토리 흐름이 23 % 더 일관적이라고 평가했다.
• Grounding Accuracy – 레퍼런스 이미지를 제공했을 때, 모델은 올바른 객체를 올바른 샷에 배치했으며, 평균 Intersection‑over‑Union(mIoU)이 기존 방법보다 0.18 향상되었다.
• Flexibility – 샷 수(2–5)와 샷당 지속 시간(0.5–2 s)을 다양하게 바꾼 실험에서 시각적 품질 저하가 거의 없었으며(FID 감소 < 0.05), 시스템이 임의의 샷 구조에 잘 적응함을 확인했다.
• User Control – 소규모 사용자 연구(n = 30 개발자)에서 87 %가 기존 텍스트‑투‑비디오 도구의 54 %에 비해 세 번 이내에 원하는 시각적 효과를 달성할 수 있었다.

Practical Implications

• Content Creation Pipelines – 마케팅 팀은 스토리보드 수준의 비디오를 실시간으로 생성하고, 전체 클립을 다시 렌더링하지 않고도 피사체나 배경을 교체할 수 있다.
• Rapid Prototyping for Games & AR/VR – 디자이너는 스크립트와 몇 개의 레퍼런스 자산만으로 컷신이나 튜토리얼 영상을 빠르게 프로토타이핑하여 반복 시간을 크게 단축할 수 있다.
• Personalized Media – 플랫폼은 사용자가 특정 샷에 나타나는 사진을 업로드함으로써 짧은 내러티브(예: 생일 인사)를 “맞춤화”할 수 있는 기능을 제공할 수 있다.
• Automation of Post‑Production – MultiShotMaster의 제어 가능한 샷 경계는 자동으로 filler 샷이나 전환 시퀀스를 생성하는 데 활용될 수 있어 수작업 편집 부담을 줄인다.

Limitations & Future Work

• Data Diversity – 자동 파이프라인이 여전히 공개 비디오 컬렉션에 의존하기 때문에 특정 장르(예: YouTube 브이로그)로 편향될 가능성이 있다.
• Long‑Form Consistency – 현재 프레임워크는 ~5‑샷 클립까지는 잘 작동하지만, 전체 광고와 같은 장시간 내러티브로 확장하려면 계층적 플래닝이 필요할 수 있다.
• Real‑Time Interaction – 현재 추론 속도가 샷당 몇 초 수준이어서 인터랙티브 편집을 위한 최적화가 남아 있다.
• Grounding Granularity – spatiotemporal RoPE는 대략적인 마스크에 가장 효과적이며, 손 제스처와 같은 세밀한 객체 수준 제어는 더 풍부한 라벨링으로 개선될 수 있다.

MultiShotMaster는 진정으로 제어 가능한 멀티‑샷 비디오 합성의 문을 열어, 이전에 노동 집약적이던 편집 작업을 프로그래밍 가능하고 AI‑구동 워크플로우로 전환한다. 커뮤니티가 언급된 제한점을 해결함에 따라, 창의성과 정밀한 개발자 제어를 결합한 점점 더 정교한 AI‑생성 내러티브가 등장할 것으로 기대된다.

Authors

• Qinghe Wang
• Xiaoyu Shi
• Baolu Li
• Weikang Bian
• Quande Liu
• Huchuan Lu
• Xintao Wang
• Pengfei Wan
• Kun Gai
• Xu Jia

Paper Information

• arXiv ID: 2512.03041v1
• Categories: cs.CV
• Published: December 2, 2025
• PDF: Download PDF