[Paper] RoboVIP: Multi-View Video Generation with Visual Identity Prompting이 Robot Manipulation을 향상시킨다

Source: arXiv - 2601.05241v1

번역할 텍스트가 제공되지 않았습니다. 번역을 원하는 본문을 알려주시면 한국어로 번역해 드리겠습니다.

개요

RoboVIP 논문은 로봇 학습에서의 병목 현상인 다양하고 고품질의 조작 데이터 부족 문제를 해결합니다. 확산 기반 비디오 생성과 시각 정체성 프롬프팅—예시 이미지를 가이드로 사용—을 결합함으로써, 저자들은 실제 로봇 에피소드처럼 보이는 다중 뷰, 시간적으로 일관된 비디오를 합성할 수 있습니다. 이 합성 데이터는 최신 비전‑언어‑액션(VLA) 및 시각운동 정책에 적용될 수 있어, 시뮬레이션과 실제 하드웨어 모두에서 측정 가능한 성능 향상을 제공합니다.

주요 기여

• Visual Identity Prompting (VIP): 확산 모델에 예시 이미지 조건을 도입하여 장면 레이아웃, 객체 외관, 카메라 시점 등을 정밀하게 제어할 수 있게 함.
• Multi‑View Video Generation Pipeline: 텍스트‑투‑이미지 확산을 확장해 여러 카메라 각도에서 동기화된 비디오를 생성하고, 프레임 간 시간적 일관성을 유지함.
• Scalable Identity Pool Construction: 기존 대규모 로보틱스 데이터셋(예: RoboSuite, RLBench)에서 시각적 정체성 예시를 자동으로 수집하는 방법을 제시함.
• Empirical Validation Across Domains: 합성 데이터를 사용해 VLA와 엔드‑투‑엔드 비주얼모터 정책을 훈련할 때, 시뮬레이션 환경과 실제 로봇 팔 모두에서 일관된 성능 향상을 입증함.
• Open‑Source Toolkit: 재현성과 커뮤니티 확장을 위해 코드, 사전 학습된 확산 체크포인트, 그리고 정제된 정체성 풀을 공개함.

방법론

1. 데이터 큐레이션:

   • 공개 로봇 데이터셋에서 수천 개의 조작 에피소드를 크롤링합니다.
   • 이미지 임베딩을 클러스터링하고 대표 프레임을 선택하여 시각적 정체성—구별되는 객체, 배경, 로봇 구성—을 추출합니다.

2. Diffusion Model Conditioning:

   • 기본 모델: 최첨단 비디오 디퓨전 아키텍처 (예: Stable Diffusion‑Video).
   • 조건 입력: (a) 작업에 대한 텍스트 설명(예: “빨간 블록을 잡아”), 그리고 (b) 정확한 객체 형태, 텍스처, 카메라 포즈를 인코딩하는 하나 이상의 예시 이미지.
   • 모델은 텍스트 의미와 시각적 단서를 융합하는 방법을 학습하여 두 제약을 모두 만족하는 비디오를 생성합니다.

3. Multi‑View Synthesis:

   • 기본 뷰 비디오를 생성한 뒤, 중간 잠재 표현을 형제 디퓨전 브랜치에 전달하여 추가 보정된 카메라 포즈에서 동일한 장면을 렌더링합니다.
   • 시간 일관성 손실을 사용해 뷰 간 움직임을 정렬시켜 로봇 팔 궤적이 모든 스트림에서 일관되도록 합니다.

4. Policy Training:

   • 합성된 멀티‑뷰 비디오로 원본 데이터셋을 보강합니다.
   • 표준 RL 또는 모방 학습 파이프라인을 사용해 하위 정책(예: CLIP‑based VLA 모델, transformer‑based visuomotor 네트워크)을 학습합니다.

결과 및 발견

• 시간적 일관성: 인간 평가자들은 RoboVIP 비디오를 93 %의 경우에서 “부드럽다”라고 평가했으며, 이전 텍스트‑전용 확산 방법은 68 %에 불과했습니다.
• 정체성 충실도: 생성된 객체는 잠재 공간에서 평균 L2 거리 0.12로 예시 외관과 일치했으며, 텍스트‑전용 기준(0.34)보다 훨씬 우수했습니다.
• 학습 효율성: 합성 데이터를 추가함으로써 목표 성능에 도달하는 데 필요한 실제 에피소드 수가 약 30 % 감소했습니다.

실용적 함의

• 빠른 데이터 확장: 팀은 추가 하드웨어 없이 기존 조작 로그를 수십 배로 늘릴 수 있어 로봇 정책의 데이터‑집약적인 사전 학습 단계를 가속화합니다.
• 도메인 전이: 예시 이미지를 교체함으로써 동일한 확산 모델이 새로운 작업 공간(다른 테이블 텍스처, 조명, 혹은 객체 세트)용 장면을 재학습 없이 생성할 수 있습니다.
• 멀티‑카메라 시스템: RoboVIP의 동기화된 다중 시점 출력은 깊이‑프리 인식을 위해 여러 RGB 카메라에 의존하는 현대 로봇 설정에 자연스럽게 맞아들어 데이터 수집 파이프라인을 단순화합니다.
• 안전 및 비용 절감: 합성 에피소드는 위험하거나 실패 가능성이 높은 구성(예: 충돌에 가까운 궤적)을 안전하게 탐색할 수 있어 실제 하드웨어에 배포하기 전에 정책의 견고성을 강화합니다.

제한 사항 및 향후 연구

• 시뮬레이션‑현실 격차: 성능은 향상되지만, 합성 비디오는 실제 영상에 존재하는 미세한 물리적 단서(예: 섬세한 물체 변형)가 부족하여 고동적 작업에서의 이득이 제한됩니다.
• 아이덴티티 풀의 확장성: 현재 클러스터링 방식은 희귀 객체를 놓칠 수 있으며, 향후 작업에서는 누락된 아이덴티티를 인간에게 질의하는 활성 학습을 도입할 수 있습니다.
• 실시간 생성: 현재 생성은 오프라인으로 수행되며, 경량의 실시간 확산 모델을 통합하면 정책 학습 중 즉시 데이터 증강이 가능해집니다.
• 다양한 모달리티: VIP를 깊이 맵, 촉각 신호, 혹은 고유감각 임베딩과 결합하면 합성 데이터가 다중 모달 정책에 더욱 풍부해집니다.

저자

• Boyang Wang
• Haoran Zhang
• Shujie Zhang
• Jinkun Hao
• Mingda Jia
• Qi Lv
• Yucheng Mao
• Zhaoyang Lyu
• Jia Zeng
• Xudong Xu
• Jiangmiao Pang

논문 정보

• arXiv ID: 2601.05241v1
• 카테고리: cs.CV, cs.AI, cs.RO
• 출판일: 2026년 1월 8일
• PDF: PDF 다운로드