[Paper] 자신이 모르는 것을 아는 World Models: Calibrated Uncertainty를 활용한 Controllable Video Generation

Source: arXiv - 2512.05927v1

Overview

이 논문은 C³라는 새로운 기법을 소개한다. C³는 각 픽셀에 대해 얼마나 자신 있는지를 스스로 평가할 수 있는 제어 가능한 비디오 생성 모델을 학습한다. 세밀한 (서브‑패치) 수준에서 보정된 불확실성 추정치를 제공함으로써, C³는 개발자가 로봇 계획, 비디오 편집, 시뮬레이션 등과 같은 응용 분야에서 하위 문제를 일으키기 전에 허위 혹은 물리적으로 불가능한 프레임(환각)을 감지하도록 돕는다.

Key Contributions

• 적절한 스코어링 규칙을 통한 보정된 불확실성 – 모델이 실제 정확도를 반영하는 확률을 출력하도록 강제하는 학습 목표.
• 잠재 공간 불확실성 추정 – 픽셀 단위 접근 방식의 불안정성과 높은 비용을 피하면서, 압축된 잠재 표현에서 신뢰도 점수를 계산.
• 조밀한 픽셀‑레벨 불확실성 맵 – 잠재 불확실성을 고해상도 RGB 히트맵으로 변환하여, 개발자에게 “신뢰할 수 있는” 영역과 “의심스러운” 영역을 직관적으로 시각화.
• 강인한 OOD 탐지 – 보정된 점수가 훈련 분포 밖의 입력(예: 새로운 로봇 장면)을 신뢰성 있게 표시함을 입증.
• 실제 로봇 데이터셋에 대한 광범위한 검증 – Bridge와 DROID 벤치마크에서 C³가 생성 품질을 유지하면서도 신뢰할 수 있는 신뢰 신호를 추가함을 실험으로 보여줌.

Methodology

1. 기본 제어 가능한 비디오 모델 – 텍스트/액션 조건을 받아 미래 프레임을 예측하는 모든 아키텍처(예: 확산 모델 또는 트랜스포머 기반 비디오 생성기).
2. 엄격히 적절한 스코어링 규칙을 이용한 학습 – 일반적인 평균 제곱 오차나 교차 엔트로피 대신, 로그‑스코어를 손실에 포함시켜 보정되지 않은 확률 출력을 벌점화하고, 모델이 픽셀 값과 그에 대한 신뢰도를 동시에 학습하도록 유도.
3. 잠재‑공간 불확실성 전파 – 모델의 인코더가 각 프레임을 저차원 잠재 벡터로 매핑한다. 불확실성은 이 잠재에 대한 가우시안 분포로 모델링되며, 분산은 평균과 함께 공동 학습된다. 잠재 공간이 원본 이미지보다 훨씬 작기 때문에 역전파가 안정적이고 메모리 효율적이다.
4. 픽셀‑레벨 매핑 – 가벼운 디코더가 잠재 분산을 픽셀 그리드에 투사하여, 밝은 영역이 높은 예측 오류를 나타내는 히트맵을 생성한다. 이 단계는 결정적이므로 시각적 불확실성 맵에 추가 샘플링이 필요하지 않다.
5. 보정 평가 – 저자들은 신뢰도 다이어그램과 기대 보정 오차(ECE)를 사용해 예측된 신뢰도가 실제 오류율과 일치하는지를 검증한다. 이는 인‑분포와 아웃‑오브‑디스트리뷰션 데이터 모두에 적용된다.

Results & Findings

• 생성 품질은 거의 변함이 없음 – FVD가 약간 상승했지만 안전성 향상에 비해 무시할 수준이다.
• 불확실성이 잘 보정됨 – 예측된 신뢰도가 다양한 장면에서 실제 오류와 일치한다.
• 아웃‑오브‑디스트리뷰션 탐지가 크게 개선되어, 새로운 로봇 구성이나 조명 조건을 쉽게 감지할 수 있다.
• 정성적 히트맵은 움직이는 객체, 가림 현상, 텍스처가 풍부한 영역 등 모델이 덜 확신하는 부분을 명확히 강조해, 개발자에게 시각적 디버깅 도구를 제공한다.

Practical Implications

• 로봇공학 및 시뮬레이션 – 플래너가 불확실하다고 표시된 프레임을 버리거나 재샘플링함으로써, 환각된 비디오 예측에 기반한 위험한 행동 실행을 줄일 수 있다.
• 명령 기반 비디오 편집 – 편집자는 모델이 확신하지 못하는 영역을 확인하고 수동으로 수정하거나 고품질 재생성을 요청할 수 있다.
• 콘텐츠 검증 및 안전 – 프롬프트로 자동 생성된 비디오를 제공하는 플랫폼은 불확실성 점수를 활용해 잠재적으로 오해를 일으킬 수 있는 출력을 실시간 차단할 수 있다.
• 모델 디버깅 – 내장된 진단 히트맵을 통해 반사 표면, 빠른 움직임 등 실패 모드를 쉽게 파악하고 데이터 수집이나 아키텍처 조정을 빠르게 진행할 수 있다.
• 다른 생성 도메인으로의 전이 – 잠재‑공간 보정 프레임워크는 이미지 합성, 오디오 생성, 멀티모달 모델 등에서도 신뢰도가 중요한 경우에 적용 가능하다.

Limitations & Future Work

• 보정은 훈련 분포에 의존 – 완전히 새로운 물리 법칙이나 센서 모달리티와 같은 극단적인 도메인 이동은 여전히 신뢰도 신뢰성을 저하시킬 수 있지만, OOD 탐지가 보완한다.
• 잠재‑공간 가정 – 불확실성을 등방성 가우시안으로 모델링하면 구조화된 오류를 놓칠 수 있다; 보다 풍부한 분포가 복잡한 실패 패턴을 포착할 수 있다.
• 초고해상도 비디오에 대한 확장성 – 잠재‑공간 추정은 효율적이지만, 픽셀‑레벨 매핑 단계가 4K 이상 스트림에서는 병목이 될 수 있다.
• 사용자 수준 통합 – 논문은 정량적 지표에 초점을 맞추었으며, 향후 연구에서는 실시간으로 불확실성 히트맵을 최종 사용자에게 제공하는 UI/UX 디자인을 탐색할 필요가 있다.

전반적으로 C³는 제어 가능한 비디오 생성기를 단순히 인상적인 수준을 넘어 신뢰할 수 있는 수준으로 끌어올리는 실용적인 경로를 제시한다. 이는 합성 비디오에 의존하는 모든 프로덕션 시스템에 있어 중요한 단계이다.

Authors

• Zhiting Mei
• Tenny Yin
• Micah Baker
• Ola Shorinwa
• Anirudha Majumdar

Paper Information

• arXiv ID: 2512.05927v1
• Categories: cs.CV, cs.AI, cs.RO
• Published: December 5, 2025
• PDF: Download PDF