[Paper] RoboVIP：多视角视频生成与 Visual Identity Prompting 增强机器人操作

Source: arXiv - 2601.05241v1

概述

论文 RoboVIP 解决了机器人学习中的一个瓶颈：多样且高质量的操作数据稀缺。通过将基于扩散的 video 生成与 视觉身份提示（使用示例图像作为指导）相结合，作者能够合成多视角、时间连贯的视频，外观与真实机器人实验相似。这些合成数据可以直接用于现代的视觉‑语言‑动作（VLA）和视觉运动策略，在仿真和真实硬件上都实现了可衡量的性能提升。

关键贡献

• 视觉身份提示 (VIP)： 引入示例图像条件用于扩散模型，实现对场景布局、对象外观和相机视角的精确控制。
• 多视角视频生成管线： 将文本到图像扩散扩展为从多个相机角度生成同步视频，保持帧间的时间一致性。
• 可扩展身份池构建： 提出一种自动化方法，从现有大规模机器人数据集（如 RoboSuite、RLBench）中收集视觉身份示例。
• 跨领域实证验证： 在合成数据上训练 VLA 和端到端视觉运动策略时，在模拟环境和真实机器人臂上均展示出一致的提升。
• 开源工具包： 发布代码、预训练的扩散检查点以及精心策划的身份池，以促进可复现性和社区扩展。

方法论

1. 数据策划：

   • 爬取数千个来自公共机器人数据集的操作片段。
   • 通过对图像嵌入进行聚类并挑选代表性帧，提取 视觉身份——不同的物体、背景和机器人配置。

2. 扩散模型条件化：

   • 基础模型：最先进的视频扩散架构（例如 Stable Diffusion‑Video）。
   • 条件输入：(a) 任务的文本描述（例如 “pick the red block”），以及 (b) 一个或多个示例图像，用于编码精确的物体形状、纹理和相机姿态。
   • 模型学习将文本语义与视觉线索融合，生成同时满足两者约束的视频。

3. 多视角合成：

   • 生成主视角视频，然后将中间潜在表示输入到兄弟扩散分支，以从额外的已校准相机姿态渲染相同场景。
   • 时间一致性损失对齐各视角的运动，确保机器人臂轨迹在所有流中保持一致。

4. 策略训练：

   • 用合成的多视角视频扩充原始数据集。
   • 使用标准的 RL 或模仿学习流水线，训练下游策略（例如基于 CLIP 的 VLA 模型、基于 transformer 的视觉运动网络）。

结果与发现

• 时间连贯性： 人工评估者在 93 % 的情况下将 RoboVIP 视频评为“流畅”，而先前仅文本扩散方法的比例为 68 %。
• 身份保真度： 生成的对象在潜在空间中的平均 L2 距离为 0.12，匹配示例外观，远优于仅文本基线（0.34）。
• 训练效率： 添加合成数据将达到目标性能所需的真实回合数减少约 30 %。

实际意义

• 快速数据扩展: 团队可以在不增加硬件的情况下，将现有的操作日志数量级提升，加速对机器人策略的数据密集型预训练阶段。
• 领域迁移: 通过更换示例图像，同一扩散模型即可为新工作空间（不同的桌面纹理、光照或物体集合）生成场景，无需重新训练。
• 多摄像头系统: RoboVIP 的同步多视角输出自然适配依赖多台 RGB 摄像头进行无深度感知的现代机器人系统，简化数据采集流水线。
• 安全与成本节约: 合成的情景可以安全地探索风险或易失效的配置（例如接近碰撞的轨迹），在真实硬件部署前提升策略的鲁棒性。

限制与未来工作

• Simulation‑Reality Gap: 虽然性能有所提升，但合成视频仍缺乏真实画面中存在的细粒度物理线索（例如细微的物体变形），这限制了在高度动态任务中的收益。
• Scalability of Identity Pool: 目前的聚类方法可能会遗漏稀有物体；未来的工作可以引入主动学习，向人类查询缺失的身份。
• Real‑Time Generation: 生成目前是离线进行的；将轻量级、即时的扩散模型集成进来，可能实现策略训练期间的即时数据增强。
• Broader Modalities: 将 VIP 扩展至包含深度图、触觉信号或本体感受嵌入，将使合成数据对多模态策略更加丰富。

作者

• Boyang Wang
• Haoran Zhang
• Shujie Zhang
• Jinkun Hao
• Mingda Jia
• Qi Lv
• Yucheng Mao
• Zhaoyang Lyu
• Jia Zeng
• Xudong Xu
• Jiangmiao Pang

论文信息

• arXiv ID: 2601.05241v1
• 分类: cs.CV, cs.AI, cs.RO
• 出版日期: 2026年1月8日
• PDF: 下载 PDF