[Paper] MultiWorld: 확장 가능한 다중 에이전트 다중 뷰 비디오 월드 모델

Source: arXiv - 2604.18564v1

개요

이 논문은 MultiWorld를 소개한다. 이는 다수의 카메라 시점에서 여러 에이전트를 동시에 시뮬레이션할 수 있는 확장 가능한 비디오‑월드‑모델이다. 행동‑조건 비디오 생성 방식을 다중 에이전트·다중 뷰 설정으로 확장함으로써, 저자들은 현재의 월드‑모델 연구(대부분 단일 행위자를 다룸)와 개발자들이 게임, 로봇공학, AR/VR에서 마주하는 복잡하고 상호작용적인 환경 사이의 격차를 메운다.

주요 기여

• 통합 멀티‑에이전트, 멀티‑뷰 프레임워크: 각 에이전트의 행동을 반영하면서 일관된 미래 비디오 프레임을 생성합니다.
• 멀티‑에이전트 조건 모듈: 어떤 수의 에이전트에도 적용 가능한 제어 신호를 깔끔하게 분리하고 재조합하는 새로운 조건화 메커니즘.
• 글로벌 상태 인코더: 모든 카메라 뷰의 정보를 집계하여 뷰 간 일관성을 보장합니다.
• 확장 가능한 설계: 임의의 수의 에이전트와 뷰포인트를 지원하며, 병렬 뷰 합성으로 높은 처리량을 제공합니다.
• 포괄적인 평가: 멀티플레이어 게임 벤치마크와 멀티‑로봇 조작 작업에서 기존 베이스라인 대비 비디오 품질, 행동 추종 정확도, 뷰 일관성에서 우수함을 입증했습니다.

Methodology

1. Input Representation – 모델은 각 카메라 뷰의 RGB 프레임 짧은 히스토리와 모든 에이전트의 현재 행동 벡터(예: 조이스틱 명령, 로봇 관절 토크)를 받는다.
2. Global State Encoder – 공유된 트랜스포머‑스타일 인코더가 모든 뷰 스트림을 받아들여 global latent state를 생성한다. 이 상태는 전체 장면 레이아웃, 객체 위치, 그리고 에이전트 간 관계를 포착한다.
3. Multi‑Agent Condition Module – 각 에이전트의 행동 벡터를 전용 컨디셔닝 토큰으로 투영한다. 이러한 토큰들을 글로벌 상태와 연결하고 디코더에 입력해 각 뷰의 다음 프레임을 예측한다. 컨디셔닝 토큰이 독립적이므로 에이전트를 추가하거나 제거할 때 토큰 리스트만 조정하면 되고 전체 네트워크를 재학습할 필요가 없다.
4. Parallel View Decoder – 가벼운 컨볼루션 디코더가 각 시점마다 동시에 실행되며 동일한 글로벌 잠재 변수와 시점‑특정 위치 임베딩을 사용해 모든 생성된 프레임이 동기화되도록 보장한다.
5. Training Objective – 재구성 손실(픽셀‑단위 L2 + 퍼셉추얼 손실), 행동‑예측 일관성 손실, 그리고 다중 뷰 일관성 손실(다양한 뷰에서 동일한 객체 외관을 장려)을 결합해 모델이 현실적인 동역학을 학습하도록 안내한다.

결과 및 발견

• Video fidelity는 크게 향상되어, 여러 프레임 앞에서도 더 선명하고 흐림이 적은 예측을 생성합니다.
• Action fidelity: 생성된 비디오는 각 에이전트의 제어 입력을 정확히 반영하여 신뢰할 수 있는 “가정‑시뮬레이션”을 가능하게 합니다.
• View consistency: 객체가 모든 카메라 각도에서 일관된 기하학 및 텍스처를 유지하여 3D 재구성이나 다중 카메라 감시와 같은 하위 작업에 중요한 속성을 제공합니다.
• Scalability test: 에이전트 수를 2에서 8으로, 뷰 수를 1에서 6으로 확장할 때 성능이 점진적으로 감소하여 설계의 유연성을 확인했습니다.

실용적 함의

• 게임 개발 – 디자이너는 AI‑구동 행동 스크립트를 입력해 멀티플레이어 시나리오를 프로토타이핑하고, 어느 플레이어의 관점에서든 세계가 어떻게 변하는지 즉시 시각화함으로써 반복 시간을 단축할 수 있습니다.
• 로봇공학 – 멀티‑로봇 협업을 단일 포워드 패스에서 시뮬레이션할 수 있어, 하드웨어에 배포하기 전에 공동 정책을 빠르게 테스트할 수 있습니다. 특히 다수의 카메라가 있는 창고나 제조 환경에서 유용합니다.
• AR/VR 콘텐츠 제작 – 일관된 멀티‑뷰 비디오 생성은 여러 사용자를 위한 공유 가상 공간을 실시간으로 렌더링하게 하여, 무거운 실시간 그래픽 파이프라인의 필요성을 줄입니다.
• 시뮬레이션‑기반 교육 – 자율주행 차량이나 드론 군집을 공유 가상 환경에서 훈련시킬 수 있으며, 각 에이전트의 센서 세트(다양한 카메라 각도)가 일관되고 미래를 예측하는 비디오 스트림을 받아 도메인 랜덤화 현실감을 향상시킵니다.

제한 사항 및 향후 작업

• 연산 부하 – 뷰 디코딩은 병렬화되지만, 트랜스포머 기반 글로벌 인코더 때문에 훈련에는 여전히 고성능 GPU가 필요하며, 이는 작은 팀의 접근성을 제한할 수 있습니다.
• 행동 공간 제한 – 실험은 저차원 제어(예: 조이스틱, 관절 속도)에 초점을 맞추고 있습니다. 고차원 행동(예: 자연어 명령)으로 확장하는 것은 아직 해결되지 않은 과제입니다.
• 장기 예측 범위 – 예측 품질이 약 10프레임 이후에 감소하는데, 이는 비디오 월드 모델에서 흔한 문제입니다; 계층적 또는 메모리 강화 모듈을 통합하면 예측 범위를 더 늘릴 수 있습니다.
• 실제 데이터 – 벤치마크는 합성 게임 및 실험실 로봇 환경이며, MultiWorld를 잡음이 많은 실제 비디오 스트림(예: 야외 감시)에 적용하려면 견고성 향상이 필요합니다.

핵심 요약: MultiWorld는 복잡한 다중 에이전트 상호작용을 여러 카메라 뷰에서 시뮬레이션해야 하는 개발자에게 실용적이고 확장 가능한 기반을 제공하여, 더 빠른 프로토타이핑, 안전한 로봇 테스트, 풍부한 몰입형 경험을 가능하게 합니다.

저자

• Haoyu Wu
• Jiwen Yu
• Yingtian Zou
• Xihui Liu

논문 정보

• arXiv ID: 2604.18564v1
• 분류: cs.CV
• 출판일: 2026년 4월 20일
• PDF: PDF 다운로드