[Paper] Olaf-World: 비디오 세계 모델링을 위한 잠재 행동 정렬

Source: arXiv - 2602.10104v1

Overview

논문 Olaf-World는 행동에 의해 조정될 수 있는 비디오 기반 세계 모델을 구축하는 데 핵심적인 병목 현상을 다룹니다: 대부분의 대규모 비디오 컬렉션은 명시적인 행동 레이블이 부족합니다. 원시 영상에서 잠재 행동을 직접 학습함으로써, 저자들은 장면마다 크게 다른 상황에서도 작동하는 제어 인터페이스를 만드는 방법을 보여줍니다—이는 이전 방법들이 잠재 행동이 장면‑특정 시각적 단서와 얽혀 있었기 때문에 어려웠습니다.

주요 기여

• SeqΔ‑REPA objective – 잠재 행동을 관찰 가능한 효과 변화(시간적 특징 차이)와 정렬하는 새로운 시퀀스 수준 손실로, 고정된 자체 지도 학습 비디오 인코더에서 추출됩니다.
• Olaf‑World pipeline – 대규모 라벨이 없는 비디오 코퍼스에서 행동 조건부 비디오 월드 모델을 구축하는 확장 가능한 사전 학습 프레임워크.
• Cross‑context latent action space – 학습된 행동이 공유 좌표계에 정리되어, 재라벨링 없이 새로운 환경으로 제로샷 전이할 수 있습니다.
• Data‑efficient adaptation – 새로운 제어 인터페이스에 대한 미세 조정이 경쟁 방법보다 훨씬 적은 주석 클립을 필요로 합니다.
• Extensive empirical validation – 여러 벤치마크 비디오 데이터셋에 대한 실험을 통해 제로샷 행동 전이 및 하위 제어 작업에서 우수한 성능을 입증했습니다.

방법론

1. 기본 비디오 인코더 – 최신 자기지도 학습 모델(예: MoCo, BYOL)을 원시 비디오에 대해 사전 학습한 후 동결합니다. 이는 강인한 프레임 수준 임베딩을 제공합니다.
2. 잠재 행동 생성기 – 신경망 모듈이 각 시간 단계마다 과거 프레임만을 조건으로 낮은 차원의 “행동 벡터”를 예측합니다.
3. 효과 정렬 (SeqΔ‑REPA) – 잠재 변수가 다음 프레임을 재구성하도록 강제하는 대신, 손실은 연속된 인코더 임베딩 간의 차이 (Δ‑features)를 잠재 행동으로부터 얼마나 잘 예측할 수 있는지를 측정합니다. Δ‑features는 행동의 효과 (예: 손이 움직이거나 물체가 이동함)를 포착하므로 비디오 전반에 걸쳐 보편적인 기준으로 작용합니다.
4. 월드 모델 학습 – 잠재 행동과 동역학 모델을 함께 최적화하여 미래 Δ‑features를 예측합니다. 이를 통해 제어 가능한 잠재 동역학 공간을 효과적으로 학습합니다.
5. 전이 및 적응 – 사전 학습이 완료되면 잠재 행동 공간을 직접 조회(제로샷)하거나 소수의 라벨된 클립으로 미세 조정하여 특정 제어 인터페이스(예: 조이스틱 명령)에 맞출 수 있습니다.

결과 및 발견

• 구조화된 잠재 공간은 ~20 % 더 높은 제로샷 전이 정확도를 제공합니다.
• 새로운 로봇 컨트롤러나 게임패드에 대한 미세조정은 라벨링된 예시가 네 배 적게 필요합니다.
• Ablation 연구는 SeqΔ‑REPA 손실을 제거하면 잠재 공간이 장면‑특정 얽힘으로 붕괴됨을 확인합니다.

실용적 함의

• Robotics & Simulation – 개발자는 몇 시간 분량의 수동 비디오(예: YouTube 데모)만으로 새로운 로봇 팔을 위한 제어 모델을 초기화하고, 몇 개의 원격 조작 시연으로 빠르게 적응시킬 수 있습니다.
• Game AI & Content Generation – 게임 스튜디오는 다양한 레벨 디자인 전반에 걸쳐 “move‑left” 또는 “jump” 의미를 이해하는 월드 모델을 훈련시킬 수 있으며, 각 레벨마다 행동 주석을 손수 만들 필요가 없습니다.
• Video‑based UI Automation – UI 상호작용을 자동화하는 도구(예: 모바일 앱 테스트)는 화면 녹화에서 일반적인 클릭/드래그 잠재 행동을 학습하고, 최소한의 재훈련으로 새로운 앱 버전에 적용할 수 있습니다.
• Cross‑domain Transfer – 잠재 행동이 관찰 가능한 효과에 고정되어 있기 때문에, 동일한 모델을 감시, 스포츠 분석, AR/VR 경험 등에 재사용할 수 있어 데이터 라벨링 비용을 크게 절감합니다.

제한 사항 및 향후 연구

• 고정된 인코더에 대한 의존 – Δ‑특징의 품질은 사전 학습된 자체 지도 인코더에 달려 있으며, 최적이 아닌 인코더는 정렬 정확도를 제한할 수 있습니다.
• 시간적 세분성 – 매우 빠르거나 미묘한 동작은 약한 Δ‑신호를 생성할 수 있어 포착이 어려워집니다.
• 3‑D 제어로의 확장성 – 현재 실험은 2‑D 시각 효과에 초점을 맞추고 있으며, 프레임워크를 전체 3‑D 자세 또는 힘 제어로 확장하는 것은 아직 해결되지 않은 과제입니다.
• 향후 연구 방향으로는 저자들이 제시한 바와 같이 인코더를 정렬 손실과 함께 공동 미세조정하고, 다중 모달 효과 단서(오디오, 고유 감각)를 탐색하며, 새로운 행동이 지속적으로 등장하는 평생 학습 시나리오에 이 방법을 적용하는 것이 포함됩니다.

저자

• Yuxin Jiang
• Yuchao Gu
• Ivor W. Tsang
• Mike Zheng Shou

논문 정보

• arXiv ID: 2602.10104v1
• Categories: cs.CV, cs.AI, cs.LG
• Published: 2026년 2월 10일
• PDF: PDF 다운로드