[Paper] PhysForge：生成 Physics-Grounded 3D 资产用于交互式虚拟世界

Source: arXiv - 2605.05163v1

概述

PhysForge 解决了游戏开发者、VR 创作者和机器人研究人员长期面临的一个痛点：自动生成不仅在视觉上逼真，而且在物理仿真中能够正确行为的 3D 资产。通过将大规模、带有物理标注的数据集（PhysDB）与两阶段生成管线相结合，作者展示了可以直接从生成器中得到“可用于仿真”的对象，这些对象可以被直接掉落、推动或进行关节运动。

关键贡献

• PhysDB – 一个精心策划的包含15万件3D资产的数据集，标注了四层物理属性层级（材料、功能类别、运动约束和仿真参数）。
• 层次化物理蓝图 – 由视觉语言模型（VLM）生成的文本到视觉的计划，在创建任何几何体之前编码材料、预期功能和运动限制。
• 两阶段生成管线
  1. 物理架构师阶段：VLM生成蓝图。
  2. 基于物理的扩散阶段：扩散模型在合成几何体的同时，通过新颖的**KineVoxel 注入（KVI）**技术注入运动信息。
• 可直接仿真的输出 – 该管线直接生成网格以及精确的碰撞形状、质量、摩擦系数和关节限制，省去手动“物理绑定”步骤。
• 广泛评估 – 量化指标（例如功能合理性、物理参数误差）和用户研究表明，PhysForge 在性能上远超以往仅生成几何体的生成器。

方法论

1. 数据准备 (PhysDB)

   • 从现有仓库中收集了 150 k 资产。
   • 为每个资产标注：
     • 材料类型（木材、金属、织物等）
     • 功能类别（门、椅子、杠杆等）
     • 运动约束（铰链轴、滑动限制）
     • 仿真参数（质量、摩擦、恢复系数）。

2. 阶段 1 – 蓝图生成

   • 一个大型视觉语言模型（例如基于 CLIP 的模型）接收诸如 “a wooden cabinet with two sliding doors” 的文本提示。
   • 模型输出结构化的 Hierarchical Physical Blueprint (HPB)，列出材料、功能意图以及一组机器可读的运动约束。

3. 阶段 2 – 基于物理的扩散

   • 一个 3‑D 扩散模型（类似 DreamFusion）以 HPB 为条件。
   • KineVoxel Injection (KVI)：将蓝图中的运动约束栅格化为体素场，并在每个去噪步骤中注入扩散潜空间，引导几何形状朝能够满足指定运动的方向演化。
   • 模型同时预测高分辨率网格以及相关的物理参数（质量、惯性张量、关节限制）。

4. 后处理

   • 自动生成碰撞体并导出为常用格式（OBJ + URDF），可直接用于 Unity、Unreal 或基于 ROS 的仿真引擎。

结果与发现

• 定性：如带铰链的门、滑动抽屉和关节机器人等资产在模拟时表现出正确的关节轴线和真实的材料变形。
• 消融实验：去除 KVI 会使功能合理性下降约 1.2 分，证实其在强制运动学可行性方面的作用。
• 用户研究：30 位开发者对 PhysForge 生成的资产评为“可直接使用”的比例为 85 %，而基线生成器仅为 38 %。

实际意义

• 游戏与VR开发：快速在世界中填充已经遵守物理规律的对象，减少数周的手动绑定和测试。
• 机器人与具身AI：生成训练环境，使智能体与行为逼真的对象交互，提升仿真到真实的迁移效果。
• 内容平台：资产市场可以提供“支持物理”的模型，为需要可直接用于仿真的买家增加价值。
• 设计自动化：工程师只需描述预期运动，即可原型化功能部件（如支架、杠杆），并获得带有正确关节规格的 CAD 兼容网格。

限制与未来工作

• 复杂关节：当前的 KVI 能很好地处理单关节约束，但在多连杆机构（例如机器人手臂）上仍然存在困难。
• 材料多样性：虽然已对材料类型进行标注，但诸如各向异性摩擦或可变形行为等细微属性尚未建模。
• 蓝图语言的可扩展性：HPB 架构是固定的；将其扩展到新的功能类别需要手动更新。
• 未来方向：作者计划集成强化学习循环，在训练过程中通过物理引擎验证生成的资产，并将 PhysDB 扩展为包含软体和流体交互的标注。

作者

• 杨云涵
• 王春世
• 叶俊良
• 李阳
• 陈赞欣
• 黄泽焕
• 穆耀
• 陈卓
• 郭春超
• 刘希慧

论文信息

• arXiv ID: 2605.05163v1
• 分类: cs.CV
• 出版日期: 2026年5月6日
• PDF: 下载 PDF