[Paper] ReViSE: Self-Reflective Learning을 활용한 통합 모델에서 Reason-Informed 비디오 편집을 향하여

Source: arXiv - 2512.09924v1

개요

이 논문은 ReViSE라는 통합 비디오 편집 모델을 소개한다. 이 모델은 클립을 변경하기 전에 물리적 타당성과 인과적 동역학에 대해 추론할 수 있다. 비전‑언어 추론 모듈을 생성기와 결합함으로써, 시스템은 편집이 실제로 사용자의 지시를 만족하는지 자체 검증할 수 있다—이는 기존의 “통합” 비디오 모델들이 겪었던 문제점이다. 이를 가능하게 하기 위해 저자들은 RVE‑Bench라는 새로운 벤치마크도 공개했으며, 이는 추론 인식 편집과 컨텍스트 내 비디오 생성을 모두 평가한다.

주요 기여

• Reason‑Informed Video Editing (RVE) 과제: 물리적·인과적 추론을 존중해야 하는 편집을 공식화한다(예: “바닥을 깨뜨리지 않고 공이 더 높이 튀도록 만들기”).
• RVE‑Bench: Reasoning‑Informed Editing + In‑Context Generation 두 부분으로 구성된 벤치마크로, 다양한 실제 시나리오와 추론 차원을 포괄한다.
• ReViSE 아키텍처: Vision‑Language Model (VLM)을 내부 비평가로 통합한 자기 반영 프레임워크로, 비디오 생성기에 미분 가능한 피드백을 제공한다.
• Self‑Reflective Reasoning (SRF) 손실: 생성기가 VLM의 논리적 평가와 일치하도록 학습시켜, 이해와 편집 사이의 격차를 메운다.
• 실증적 향상: ReViSE는 추론 인식 편집 하위 집합에서 기존 최고 성능 대비 **32 %**의 전체 점수 상승을 보이며, 시각적 충실도 또한 개선한다.

방법론

1. 통합 백본 – ReViSE는 텍스트 프롬프트를 받아 프레임을 자동 회귀적으로 생성할 수 있는 트랜스포머 기반 비디오 생성 모델 위에 구축된다.
2. 내부 VLM 비평가 – 사전 학습된 비전‑언어 모델(예: CLIP‑Video)이 편집된 비디오와 원본 지시를 함께 처리하고 “합리성 점수”를 출력한다.
3. 자기 반영 루프 – 학습 중에 생성기의 출력이 VLM에 전달되고, VLM 점수의 그래디언트가 미분 가능한 추론 손실 (SRF)을 통해 생성기로 역전파된다. 이는 VLM이 논리적으로 일관하다고 판단하는 편집을 만들도록 생성기를 유도한다.
4. 동시 생성 및 평가 – 동일한 아키텍처는 컨텍스트 내 비디오 생성에도 사용될 수 있으며, 이때 VLM은 새로 생성된 클립이 다단계 서사를 따르는지 검증한다.
5. 벤치마킹 – RVE‑Bench는 “전/후” 비디오 쌍, 텍스트 지시, 그리고 실제 추론 주석(예: 물리적 제약, 인과 사슬)을 제공한다. 평가는 표준 비디오 품질 지표(FID, CLIP‑Score)와 VLM 판단에서 파생된 새로운 Reasoning Accuracy 지표를 결합한다.

결과 및 발견

• 32 % 향상된 전체 추론 인식 편집 점수는 자기 반영 루프가 생성과 논리적 제약을 효과적으로 정렬한다는 것을 보여준다.
• 시각적 품질도 동시에 개선되어, 추론 피드백이 충실도를 희생하지 않음을 시사한다.
• Ablation 연구에서 SRF 손실을 제거하면 추론 정확도가 약 15 % 감소하여, 해당 손실이 핵심 역할을 함을 확인한다.

실용적 함의

• 콘텐츠 제작 파이프라인 – 비디오 편집자는 이제 “도로 표면을 손상시키지 않으면서 자동차 가속을 더 빠르게 해줘”와 같은 요청을 단일 모델에 할 수 있으며, 모델은 물리법칙을 자동으로 준수한다.
• 시뮬레이션 및 학습 데이터 생성 – 자율주행이나 로봇 시뮬레이터는 물리적으로 타당한 시나리오 변형을 생성할 수 있어, 수작업 규칙 설정이 감소한다.
• 인터랙티브 AI 어시스턴트 – “컵이 쏟아지는 모습을 보여줘, 테이블은 깨지게 하지 않아”와 같은 비디오 조작을 수행하는 채팅 기반 도구가 별도의 추론·합성 모듈을 연결할 필요 없이 단일 통합 모델에 의존할 수 있다.
• 안전이 중요한 분야 – AR/VR이나 의료 비디오 증강에서 편집이 인과적 제약을 준수하도록 함으로써 오해를 일으키는 시각화를 방지할 수 있다.

제한점 및 향후 연구

• VLM 품질 의존성 – 자기 반영 피드백은 기반 비전‑언어 모델의 품질에 좌우된다; VLM의 편향이나 사각지대가 생성기에 그대로 전파될 수 있다.
• 긴 비디오에 대한 확장성 – 현재 실험은 ≤ 5 초 클립에 초점을 맞추고 있으며, 분 단위 영상으로 확장하려면 보다 효율적인 시간 모델링이 필요하다.
• 추론 세분성 – 벤치마크는 미리 정의된 물리·인과 규칙 집합만을 다루며, 실제 편집에서는 유체 역학 등 더 풍부하고 도메인 특화된 지식이 요구될 수 있다. 현재 VLM은 이를 평가하지 못한다.
• 향후 방향: 다중모달 추론(오디오, 깊이) 통합, 생성기와 VLM을 공동 학습시켜 정렬 강화, 사용자 생성 “와일드‑타입” 편집 과제로 RVE‑Bench 확장 등.

저자

• Xinyu Liu
• Hangjie Yuan
• Yujie Wei
• Jiazheng Xing
• Yujin Han
• Jiahao Pan
• Yanbiao Ma
• Chi‑Min Chan
• Kang Zhao
• Shiwei Zhang
• Wenhan Luo
• Yike Guo

논문 정보

• arXiv ID: 2512.09924v1
• Categories: cs.CV
• Published: December 10, 2025
• PDF: Download PDF