[Paper] 클로즈드 루프 월드 모델링을 통한 비디오 아바타의 액티브 인텔리전스

Source: arXiv - 2512.20615v1

개요

이 논문은 L‑IVA라는 새로운 벤치마크를 소개합니다. 이 벤치마크는 비디오 아바타에게 확률적이고 생성적인 세계에서 장기 목표를 추구하도록 요구합니다. 또한 ORCA라는 최초의 아키텍처를 제시하는데, 이는 이러한 아바타에게 내부 세계 모델을 제공하여 계획을 세우고 행동하며 스스로 교정할 수 있게 합니다. 아바타가 예측한 내용과 실제 발생한 내용 사이의 루프를 닫음으로써, 시스템은 비디오 아바타를 수동적인 재연에서 진정한 목표 지향적 에이전시로 이동시킵니다.

핵심 기여

• L‑IVA 벤치마크: 개방형 비디오 아바타 환경에서 목표 지향적 계획을 측정하기 위한 작업 모음 및 평가 프로토콜.
• ORCA 프레임워크: 예측을 생성된 결과와 지속적으로 검증하여 불확실성 하에서도 아바타의 신념 상태를 정확하게 유지하는 폐쇄형 “Observe‑Think‑Act‑Reflect”(OTAR) 사이클.
• 계층적 이중 시스템 아키텍처:
  • 시스템 2 (전략적)는 POMDP 형식을 사용해 고수준 추론 및 상태 예측을 수행.
  • 시스템 1 (전술적)는 추상적인 계획을 구체적인 모델‑특정 액션 캡션으로 변환하여 비디오 생성 엔진을 구동.
• 결과 검증을 통한 지속적인 신념 업데이트로, 확률적 시각 환경에서 견고한 다단계 작업 실행을 가능하게 함.
• 실증 검증을 통해 개방형 루프 및 비반영 기반선에 비해 작업 성공률 및 행동 일관성에서 큰 향상을 입증.

방법론

1. Problem framing – Avatar control is modeled as a Partially Observable Markov Decision Process (POMDP). The avatar only observes rendered video frames, not the underlying state, so it must maintain a belief distribution over possible world states.
   문제 정의 – 아바타 제어는 부분 관측 마코프 결정 과정(POMDP)으로 모델링됩니다. 아바타는 기본 상태가 아니라 렌더링된 비디오 프레임만을 관찰하므로 가능한 세계 상태에 대한 신념 분포를 유지해야 합니다.

2. Closed‑loop OTAR cycle –

   • Observe: ingest the latest generated frame.
     Observe: 최신 생성된 프레임을 받아들인다.
   • Think: System 2 predicts future states and selects a high‑level plan (e.g., “pick up the cup, then walk to the window”).
     Think: 시스템 2가 미래 상태를 예측하고 고수준 계획을 선택한다(예: “컵을 집고, 창문 쪽으로 걸어간다”).
   • Act: System 1 translates the plan into a sequence of textual action captions that are fed to the underlying video synthesis model (e.g., a diffusion‑based avatar generator).
     Act: 시스템 1이 계획을 일련의 텍스트 액션 캡션으로 변환하여 기본 비디오 합성 모델에 전달한다(예: 확산 기반 아바타 생성기).
   • Reflect: After the frame is rendered, the system compares the observed outcome with the predicted one, updates its belief, and corrects any drift before the next cycle.
     Reflect: 프레임이 렌더링된 후, 시스템은 관찰된 결과와 예측된 결과를 비교하고, 신념을 업데이트하며, 다음 사이클 전에 드리프트를 수정한다.

3. Hierarchical dual‑system design –

   • System 2 uses a transformer‑based world‑model that predicts latent state transitions and evaluates long‑horizon rewards.
     System 2는 변환기 기반 세계 모델을 사용하여 잠재 상태 전이를 예측하고 장기 보상을 평가한다.
   • System 1 is a lightweight captioning network trained to map abstract actions (e.g., “move‑forward”) to the specific textual prompts required by the video generator.
     System 1은 추상적인 행동(예: “앞으로 이동”)을 비디오 생성기에 필요한 구체적인 텍스트 프롬프트로 매핑하도록 훈련된 경량 캡셔닝 네트워크이다.

4. Training & evaluation – The authors train the world model on a large corpus of synthetic interaction videos, then fine‑tune on the L‑IVA tasks. Success is measured by task completion, coherence of the avatar’s motion, and alignment with the intended goal.
   Training & evaluation – 저자들은 세계 모델을 대규모 합성 상호작용 비디오 코퍼스에 대해 훈련한 뒤 L‑IVA 작업에 대해 미세 조정한다. 성공은 작업 완료도, 아바타 움직임의 일관성, 그리고 의도된 목표와의 정렬을 통해 측정한다.

Source: …

결과 및 발견

• 높은 성공률: ORCA는 “음료를 가져와 테이블에 놓기”와 같은 다단계 목표를 75 % 이상 성공적으로 수행하며, 시작 시 한 번만 계획하는 베이스라인을 크게 능가합니다.
• 확률성에 대한 강인성: Reflect 단계는 생성 모델이 시각적 잡음이나 예상치 못한 아티팩트를 도입할 때 신념 드리프트를 크게 감소시킵니다.
• 일관된 움직임: 인간 평가자는 더 부드럽고 목적이 뚜렷한 아바타 행동을 관찰했으며, 이는 계층적 추론이 현실적인 행동 시퀀스를 만들어낸다는 것을 나타냅니다.

실용적 시사점

• 인터랙티브 가상 비서 – 개발자는 ORCA‑기반 아바타를 VR/AR 또는 원격 협업 도구에 삽입하여 아바타가 스스로 객체를 가져오고, 사용자를 안내하거나, 동적 환경에 적응하도록 할 수 있습니다.
• 게임 AI – 폐쇄 루프 세계 모델링 접근법을 시각적 불확실성(예: 전쟁 안개, 절차적으로 생성된 레벨) 하에서 계획이 필요한 NPC에 적용할 수 있으며, 설득력 있는 애니메이션을 유지합니다.
• 콘텐츠 제작 파이프라인 – 스튜디오는 ORCA를 사용해 모든 프레임을 수동으로 스크립트하지 않고도 목표 지향적인 장시간 비디오 시퀀스를 생성할 수 있어 애니메이션 작업량을 줄일 수 있습니다.
• 인간‑로봇 상호작용 연구 – OTAR 사이클은 로봇공학에서 사용되는 인지 아키텍처를 반영합니다; 이를 물리적 에이전트와 통합하면 인식이 노이즈가 많은 실제 작업 계획을 개선할 수 있습니다.

개발자에게 핵심적인 시사는 반사 검증 루프와 이중 시스템 계층 구조를 추가하면 비디오 아바타가 단순히 흉내 내는 것이 아니라 행동할 수 있게 된다는 점이며, 이는 보다 자율적이고 사용자 반응형 디지털 캐릭터의 가능성을 열어줍니다.

제한 사항 및 향후 작업

• 기본 비디오 생성기에 대한 의존성 – ORCA의 성능은 생성 모델의 품질과 제어 가능성에 달려 있으며, 캡션‑대‑비디오 일치도가 낮으면 여전히 실패가 발생할 수 있습니다.
• 신념 업데이트의 확장성 – 현재 신념 표현은 비교적 가볍지만, 더 풍부하고 고차원적인 세계로 확장하려면 보다 정교한 추론(예: 파티클 필터)이 필요할 수 있습니다.
• 실제 비디오에 대한 일반화 – 실험은 합성 환경에서 수행되었으며, 이 접근 방식을 포토리얼리스틱하거나 실시간 카메라 피드에 적용하는 것은 아직 해결되지 않은 과제입니다.
• 미래 방향으로 저자들이 제시한 내용에는 다중 모달 센서(오디오, 깊이)와의 tighter integration, 생성기와 함께 System 1 정책을 엔드‑투‑엔드로 학습하는 것, 그리고 벤치마크를 협업 다중 아바타 시나리오로 확장하는 것이 포함됩니다.

저자

• Xuanhua He
• Tianyu Yang
• Ke Cao
• Ruiqi Wu
• Cheng Meng
• Yong Zhang
• Zhuoliang Kang
• Xiaoming Wei
• Qifeng Chen

논문 정보

• arXiv ID: 2512.20615v1
• 분류: cs.CV
• 발표일: 2025년 12월 23일
• PDF: Download PDF