[Paper] 비디오 생성 모델은 좋은 잠재 보상 모델이다

Source: arXiv - 2511.21541v1

개요

이 논문은 Process Reward Feedback Learning (PRFL) 을 소개한다. PRFL은 잠재 공간을 떠나지 않고도 인간 선호와 비디오‑생성 모델을 정렬하는 새로운 방법이다. 사전 학습된 비디오 확산 모델의 고유 구조를 활용함으로써, PRFL은 비용이 많이 드는 VAE 디코딩을 회피하고 전체 체인에 걸친 그래디언트 업데이트를 가능하게 하여, 메모리 사용량과 학습 시간을 크게 줄이면서 선호에 맞는 고품질 비디오를 제공한다.

주요 기여

• 잠재‑공간 보상 모델링: 기존 비디오 확산 모델을 직접 보상 모델로 사용할 수 있음을 보여주어, 픽셀‑공간 비전‑언어 모델이 필요 없게 한다.
• 엔드‑투‑엔드 선호 최적화: 전체 디노이징 과정에 걸쳐 그래디언트 역전파를 가능하게 하여, 최초 확산 단계부터 감독을 제공한다.
• 효율성 향상: 기존 RGB‑기반 보상 피드백 학습(ReFL) 대비 GPU 메모리 사용량을 최대 ~4배, 학습 속도를 ~3배 가속한다.
• 인간‑정렬 개선: 벤치마크 비디오 생성 작업에서 인간 선호 점수가 측정 가능한 상승을 보인다.
• 포괄적 평가: Ablation 연구, 정성적 분석, 런타임 프로파일링을 포함하여 접근법을 검증한다.

방법론

1. 시작점 – 비디오 확산 모델: 저자들은 사전 학습된 비디오 확산 모델(예: Video Diffusion, Video LDM)을 사용한다. 이 모델들은 이미 임의의 타임스텝에서 노이즈가 섞인 잠재 표현을 다룬다.
2. 선호 데이터 수집: 인간 주석자는 동작 부드러움, 시간적 일관성, 전반적 매력도와 같은 기준에 따라 생성된 비디오 클립 쌍을 순위 매긴다.
3. 잠재‑공간 보상 네트워크: 경량 신경망 헤드를 확산 모델의 잠재 인코더에 연결한다. 선택된 타임스텝의 노이즈 잠재를 입력받아 인간 선호를 예측하는 스칼라 “보상”을 출력한다.
4. Process Reward Feedback Learning (PRFL):
   • 샘플링: 각 학습 단계에서 모델은 임의의 확산 단계에서 노이즈 잠재를 샘플링한다.
   • 보상 예측: 보상 헤드가 잠재에 점수를 매긴다.
   • 손실: 쌍별 순위 손실(예: Bradley‑Terry)을 사용해 더 높은 평가를 받은 비디오의 잠재가 더 큰 보상을 받도록 한다.
   • 역전파: 모든 과정이 잠재 공간에 머무르기 때문에, 그래디언트가 전체 디노이징 체인을 통해 확산 백본과 보상 헤드 모두의 파라미터로 흐른다.
5. VAE 디코딩 없음: 파이프라인은 학습 중에 잠재를 RGB로 변환하지 않으며, 이는 기존 ReFL 방식에서 메모리와 연산을 지배하던 비용이 큰 VAE 디코드 단계를 제거한다.

결과 및 발견

• 선호 정렬: 사용자는 특히 동적 장면에서 움직임 연속성이 중요한 경우 PRFL 비디오를 일관되게 더 선호했다.
• 시간적 충실도: 정성적 예시에서 RGB‑ReFL에 비해 전환이 더 부드럽고 깜박임 현상이 적었다.
• Ablation: 초기 확산 단계에서 보상 헤드를 제거하면 성능이 저하되어, 초기 단계 감독의 이점을 확인한다.
• 확장성: PRFL은 높은 해상도 비디오(256×256)에도 비교적 적은 GPU 예산으로 확장 가능했으며, 이는 픽셀‑공간 ReFL에서는 실현하기 어려웠다.

실용적 함의

• 제품 팀을 위한 빠른 반복: AI 기반 비디오 편집기, 콘텐츠 제작 도구, 생성 광고 등을 개발하는 팀은 사용자 피드백을 기반으로 모델을 며칠 안에 미세 조정할 수 있다.
• 인프라 비용 절감: 메모리 사용량 감소로 단일 GPU 워크스테이션이나 저렴한 클라우드 인스턴스에서도 학습이 가능해져, 소규모 스튜디오도 선호 학습에 접근할 수 있다.
• 향상된 사용자 경험: 초기 단계 선호 피드백을 통해 모델이 처음부터 움직임을 정확히 잡아내어, 사후 생성 보정이나 수동 수정이 감소한다.
• 플러그‑인 보상 헤드: PRFL은 기존 확산 백본에 작은 헤드만 추가하면 되므로, 기존 파이프라인을 처음부터 다시 학습할 필요 없이 레트로핏할 수 있다.
• 다중모달 피드백 가능성: 잠재‑공간 접근법은 오디오 정렬, 사용자 인터랙션 로그 등 다른 신호를 계산량 폭증 없이 통합할 수 있다.

제한점 및 향후 연구

• 강력한 사전 학습 확산 백본 의존: PRFL의 이점은 기본 비디오 확산 모델이 충분히 좋은 시간적 역학을 이미 학습하고 있다는 전제에 기반한다.
• 보상 헤드의 단순성: 현재 보상 네트워크는 얕은 구조이며, 트랜스포머 기반 헤드와 같은 더 풍부한 아키텍처가 미묘한 선호를 포착할 수 있다.
• 인간 데이터 병목: 고품질 쌍별 순위 수집은 여전히 비용이 많이 들며, 합성 또는 반감독 선호 신호 탐색이 필요한 과제이다.
• 매우 긴 비디오에 대한 일반화: 실험은 ≤2 초 클립에 국한되었으며, 더 긴 시퀀스로 확장하려면 계층적 잠재 표현이 필요할 수 있다.
• 교차 모달 확장: 향후 연구에서는 텍스트나 오디오 단서를 직접 잠재 보상에 통합해 보다 표현력 있는 선호 사양을 가능하게 할 수 있다.

저자

• Xiaoyue Mi
• Wenqing Yu
• Jiesong Lian
• Shibo Jie
• Ruizhe Zhong
• Zijun Liu
• Guozhen Zhang
• Zixiang Zhou
• Zhiyong Xu
• Yuan Zhou
• Qinglin Lu
• Fan Tang

논문 정보

• arXiv ID: 2511.21541v1
• 분류: cs.CV
• 발표일: 2025년 11월 26일
• PDF: Download PDF