[Paper] 编排动态对象的世界

Source: arXiv - 2601.04194v1

Overview

本文介绍了 CHORD，一种通用生成管线，能够在时间维度上“编排”动态 3‑D 对象的运动——想象一个系统可以自动合成逼真的 4‑D（3‑D + 时间）场景，如变形的布料、碰撞的刚体或关节机器人的动作。通过利用最新的视频生成模型并加入一种新颖的蒸馏步骤，CHORD 能够从普通的 2‑D 视频素材中提取底层的物理式运动（拉格朗日），从而实现无需手工规则或大规模标注 3‑D 数据集即可生成多样化、类别无关的动力学。

关键贡献

• Universal motion synthesis: 一个单一的框架，可跨对象类别（刚性、可变形、关节）工作，无需针对每个类别的启发式方法。
• Distillation from Eulerian to Lagrangian: 将像素级（Eulerian）视频表示转换为以对象为中心的（Lagrangian）轨迹，保留丰富的运动线索。
• Category‑agnostic pipeline: 不依赖大型标注的3‑D数据集；系统可以在现成的2‑D视频集合上进行训练。
• Demonstrated versatility: 能够生成多体交互、复杂变形，甚至机器人操作策略，均基于同一骨干网络。
• Open‑source release: 提供代码、预训练模型和项目页面，以实现可重复性和社区扩展。

Methodology

1. Video‑generative backbone – CHORD 采用最先进的二维视频扩散模型，学习从文本或潜在提示生成逼真的像素序列。
2. Eulerian‑to‑Lagrangian 蒸馏 – 训练一个二级网络，将生成的视频帧映射为一组以对象为中心的轨迹（位置、方向、变形参数）。此步骤提取像素数据中隐藏的“运动脚本”。
3. 场景组装 – 将蒸馏后的轨迹输入轻量级的物理启发渲染器，随时间重建三维几何，从而使系统能够输出完整的四维网格或点云。
4. 控制旋钮 – 用户可以通过文本提示、潜在向量或显式约束（例如，“让球弹跳两次”）来引导生成。同一流水线可重新用于下游任务，如生成机器人动作序列。

整体设计将繁重的工作（学习视觉动态）保留在二维领域——数据丰富——而蒸馏步骤则桥接到三维物理风格的表示。

结果与发现

• 多样化动力学 – CHORD 成功合成刚体（弹跳立方体）、可变形物体（布料垂挂、软玩具压缩）以及关节式代理（类人行走）的真实运动。
• 定量优势 – 与之前的基于规则的图形流水线和基于学习的 3‑D 生成器相比，CHORD 在使用 10‑× 更少标注的 3‑D 数据的情况下，获得更高的保真度分数（例如，Chamfer 距离更低）。
• 机器人演示 – 将提炼后的轨迹输入简易运动规划模块，作者为模拟机器人臂生成可行的操作策略，表明这些运动脚本在物理上是合理的。
• 用户研究 – 非专业参与者评价 CHORD 生成的视频比基线方法更“自然”和“连贯”，验证了合成动力学的感知质量。

实际意义

• 用于 VFX 与游戏的快速原型 – 艺术家只需少量文字提示即可生成复杂的物体交互（例如，倒塌的结构、飘动的布料），从而减少手动绑定和模拟设置的工作量。
• 用于机器人学的数据增强 – 可以即时生成包含真实物体动力学的模拟训练数据，提升在操作和导航任务中的策略学习效果。
• 跨领域内容创作 – 由于该流水线兼容任意 2‑D 视频源，开发者可以重新利用已有素材（例如体育片段），为 AR/VR 创建全新的 3‑D 体验。
• 研究工具 – 研究物理推理或具身 AI 的学者可以使用 CHORD 生成受控且多样的动态场景，无需为每种物体类型单独构建专用模拟器。

限制与未来工作

• 物理保真度 – 虽然动作看起来合理，但底层动力学并不保证遵循精确的物理定律（例如动量守恒），这限制了其在高精度工程仿真中的使用。
• 分辨率与细节 – 细粒度变形的质量（例如布料皱褶）取决于视频主干的分辨率；提升规模可能需要更多计算资源。
• 对未见物理的泛化能力 – 极端现象（爆炸、流体‑粒子相互作用）未进行评估，可能需要额外的条件信息。
• 未来方向 – 作者计划在蒸馏过程中加入显式物理约束，探索更高分辨率的视频模型，并将框架扩展到多模态输入（音频、触觉线索），以实现更丰富的场景合成。

作者

• Yanzhe Lyu
• Chen Geng
• Karthik Dharmarajan
• Yunzhi Zhang
• Hadi Alzayer
• Shangzhe Wu
• Jiajun Wu

论文信息

• arXiv ID: 2601.04194v1
• 类别: cs.CV, cs.GR, cs.RO
• 发布时间: 2026年1月7日
• PDF: 下载 PDF