[Paper] Particulate: 前馈 3D 对象关节化

Source: arXiv - 2512.11798v1

Overview

Particulate 是一种全新的前馈系统，能够接受单个静态 3D 网格——比如 CAD 模型或椅子的扫描件——并瞬间恢复其隐藏的关节结构：各个可移动部件、它们的连接方式以及每个关节的运动限制。通过用基于 Transformer 的网络一次前向传播取代昂贵的逐对象优化，该方法使得在几秒钟内将任何静态 3D 资产转化为完整绑定、可动画的模型成为可能。

Key Contributions

• 端到端 Transformer 架构（Part Articulation Transformer），直接接受网格的点云并一次性预测部件、运动层级以及关节约束。
• 原生多关节支持，能够处理具有任意数量活动连杆的对象（例如带有多个铰链的折叠桌）。
• 大规模训练，使用来自公共数据集的精选关节资产集合，并发布了全新的关节估计基准。
• 实时推理：整个流水线在单张 GPU 上仅需几秒，速度远快于以往基于优化的方法。
• 对 AI 生成 3D 内容的泛化，实现了从单张图像 → 3D 网格 → 关节模型的完整流程，兼容现成的图像到 3D 生成器。

Methodology

1. 输入预处理 – 将静态网格均匀采样为点云（约 10k 点）。
2. Part Articulation Transformer – 层次化的 Transformer 处理点云。
   • 通过在小邻域上的自注意力进行局部特征提取，捕获细粒度几何（例如门的边缘）。
   • 全局推理聚合这些特征，以推断整体运动图（哪个部件相对于哪个部件运动）。
3. 关节预测头 – 独立的 MLP 头输出：
   • 部件分割（每点标签）。
   • 父子关系（运动树的有向边）。
   • 关节类型与限制（转动、滑动、运动范围）。
4. 提升到网格 – 将预测的属性映射回原始网格，生成可直接用于动画的绑定模型。
5. 训练 – 使用交叉熵进行分割监督，二元交叉熵监督邻接关系，回归损失监督关节参数。损失函数加权以平衡不同对象的部件数量差异。

整个网络可微且端到端训练，因而能够同时优化部件检测和运动推断，而不是将两者视为独立步骤。

Results & Findings

• 定量提升：在新基准（约 2k 种多样对象）上，Particulate 达到 84 % 的平均交并比（mIoU）用于部件分割，完整运动树预测准确率为 71 %，比前沿方法（ArticulationNet）高出约 20 %。
• 速度：在 RTX 3090 上平均推理时间为 1.8 秒/对象，而基于优化的基线需要 30 秒至 5 分钟。
• 对噪声的鲁棒性：当输入点云加入 5 % 高斯噪声时，模型仍保持 >75 % 的运动准确率，显示出对不完美扫描的抵抗力。
• AI 生成资产：结合基于扩散的图像到 3D 生成器时，Particulate 能够为 68 % 的单张 RGB 图像生成的对象正确提取关节，开启了“单图像绑定”的新路径。

定性示例（如厨房橱柜、折叠椅、机械臂）展示了干净的部件分离和符合人类直觉的关节限制。

Practical Implications

• 游戏与 AR/VR 流程：艺术家可以直接导入库或程序生成的静态网格，瞬间获得绑定资产，大幅削减手动绑定时间。
• 机器人仿真：工程师可以将家居物品的 CAD 模型输入仿真平台（如 Isaac Gym、PyBullet），自动获得准确的关节模型，无需手工编写 URDF 文件。
• 电商 3D 内容创建：零售商只需上传单个产品扫描，即可自动生成交互式 3D 演示，用户可以打开抽屉或旋转铰链。
• 学习任务的数据增强：可在训练时即时生成合成的关节模型，用于姿态估计、抓取合成等下游任务。
• 与图像到 3D 工具的集成：通过将扩散生成器与 Particulate 串联，开发者能够构建端到端的“单张照片到动画 3D”服务，适用于快速原型或虚拟试穿。

Limitations & Future Work

• 复杂关节类型：当前分类仅覆盖转动和滑动关节，尚未支持更为奇特的约束（如球形或自定义凸轮）。
• 稀疏拓扑错误：在部件极多且体积细小的对象（如机械表）上，网络有时会合并相邻组件，导致绑定不足。
• 对训练分布的依赖：对高度风格化或非流形的网格（与训练数据差距大）性能会下降。
• 未来方向：作者提出扩展关节词汇、引入基于物理的先验以细化运动限制、以及在大规模未标注 3D 库上进行自监督训练，以提升对新颖风格的泛化能力。

Authors

• Ruining Li
• Yuxin Yao
• Chuanxia Zheng
• Christian Rupprecht
• Joan Lasenby
• Shangzhe Wu
• Andrea Vedaldi

Paper Information

• arXiv ID: 2512.11798v1
• Categories: cs.CV, cs.AI, cs.GR
• Published: December 12, 2025
• PDF: Download PDF