[Paper] SIMPACT：仿真驱动的动作规划使用视觉语言模型

Source: arXiv - 2512.05955v1

概览

本文提出了 SIMPACT，一种在测试阶段将物理模拟器接入大型视觉‑语言模型（VLM）的框架，使其能够推理物体在受力后的运动方式。通过将单张 RGB‑D 快照转化为轻量级仿真，系统让 VLM “试验”动作、观察仿真结果，并在循环中迭代改进计划——无需额外训练。这弥合了 VLM 强大的语义知识与实际机器人操作所缺乏的物理直觉之间的鸿沟。

主要贡献

• 仿真‑在‑环推理： 让现成的 VLM 在测试时查询物理引擎，将静态视觉理解转化为动态、因果推理。
• 一次性世界建模： 从单张 RGB‑D 观测构建紧凑的物理仿真（刚体 + 可变形），无需预先收集动力学数据。
• 迭代动作细化： VLM 提出动作，观察仿真 rollout，并能够在闭环中修正计划。
• 零训练适配： 不需要对 VLM 进行微调；仿真充当外部知识源。
• 最先进的结果： 在五个真实世界操作基准（包括刚体和可变形物体）上取得领先性能，超越现有通用机器人模型。

方法论

1. 感知 → 仿真：

   • 捕获场景的 RGB‑D 帧。
   • 使用现成的深度处理工具对物体进行分割、估计姿态，并从视觉线索推断基本物理属性（质量、摩擦系数）。
   • 将这些物体填充进轻量级物理引擎（如 PyBullet），创建桌面场景的“数字孪生”。

2. 语言驱动规划：

   • 将原始图像和自然语言任务描述（例如 “把蓝色块堆叠在红色块上”）输入预训练的 VLM（如 GPT‑4‑V 或 LLaVA）。
   • VLM 输出高层次的动作规格（抓取姿态、推力方向等）。

3. 仿真 rollout：

   • 在仿真世界中执行提出的动作。
   • 记录产生的物体轨迹和接触事件。

4. 迭代反馈：

   • 将仿真结果（图像或状态向量）返回给 VLM，促使其判断成功或失败。
   • VLM 可随后提出改进的动作，循环重复直至得到满意的计划或耗尽仿真预算。

5. 在真实机器人上执行：

   • 将最终、经过仿真验证的动作转移到实体机器人上执行。

整个流水线在测试时运行，利用 VLM 的语言推理能力，同时以基于物理的预测为其提供落地依据。

结果与发现

• SIMPACT 始终优于仅使用 VLM 的基线规划器和近期的端到端操作网络。
• 消融实验表明，去除仿真循环会导致平均性能下降约 15 %，验证了物理 grounding 的关键作用。
• 系统每次迭代仅需几秒钟的仿真时间，具备实时规划的实用性。

实际意义

• 机器人技能快速原型化： 开发者可以复用任何现有 VLM（如 GPT‑4‑V），只需添加仿真包装，即赋予其物理直觉，省去昂贵的数据收集或模型再训练。
• 通用家庭机器人： 整理、摆放杂货、处理软物品（衣物、电缆）等任务，仅凭单张视觉快照和自然语言指令即可实现。
• 仿真增强的 AI 助手： 除机器人外，任何需要预测物理动作结果的 AI（如 AR/VR 助手、制造业数字孪生）都可采用相同循环，提高安全性和可靠性。
• 降低对大规模交互数据集的依赖： 通过在测试时利用物理引擎，企业可规避收集数百万机器人交互日志的巨大工作量。

局限性与未来工作

• 物理精度与速度的权衡： 当前实现使用简化的接触模型；对高度复杂的可变形动力学（如流体类材料）仍可能预测不准。
• 感知误差： 单视角的姿态或属性估计不准会传递到仿真中，导致次优计划。多视角或主动感知有望缓解。
• 对大场景的可扩展性： 为杂乱环境构建完整仿真仍然计算量大；层次化或以对象为中心的仿真是有前景的方向。
• 学习何时查询仿真器： 未来工作可训练轻量策略，决定 何时 调用仿真而非直接信任 VLM 直觉，从而进一步降低延迟。

总体而言，SIMPACT 展示了将物理引擎嵌入视觉‑语言模型推理环的实用、免训练路径，为更具物理感知的 AI 代理铺平了道路。

作者

• Haowen Liu
• Shaoxiong Yao
• Haonan Chen
• Jiawei Gao
• Jiayuan Mao
• Jia‑Bin Huang
• Yilun Du

论文信息

• arXiv ID: 2512.05955v1
• 分类: cs.RO, cs.CV
• 发表时间: 2025 年 12 月 5 日
• PDF: Download PDF