[Paper] 生成式视频运动编辑与 3D 点轨迹

Source: arXiv - 2512.02015v1

概览

本文提出了一种 轨迹条件视频到视频（V2V）生成框架，能够让用户在已有素材中同时编辑相机运动和物体运动。通过利用稀疏的 3D 点轨迹作为源视频与目标运动轨迹之间的桥梁，系统可以在真实感深度处理、遮挡推理和时间一致性方面重新动画化场景——这些是此前的图像到视频或 V2V 方法难以实现的。

主要贡献

• 3D 点轨迹条件化： 使用配对的 3D 点轨迹（源 ↔ 目标）向生成管线注入显式深度信息，实现精确的运动转移和遮挡处理。
• 相机与物体联合编辑： 支持在同一模型中同时操作全局相机运动和局部物体动态。
• 两阶段训练方案： 首先在大规模合成数据集上进行预训练，以获得稳健的几何学习；随后在真实视频数据上微调，以捕捉自然的外观变化。
• 多样的运动控制： 在单次推理过程中展示运动转移、非刚性变形以及相机/物体联合变换。
• 稀疏对应转移： 只需少量 3D 轨迹即可实现高保真结果，较密集光流方法显著降低标注成本。

方法论

1. 输入表示

   • 源视频 (V_s)（RGB 帧）。
   • 3D 点轨迹 ({p_i^s(t)})，从 (V_s) 中提取（例如通过结构光束法或深度感知跟踪器）。
   • 目标轨迹 ({p_i^t(t)})，用于编码期望的运动（可手工制作、从其他片段转移或程序生成）。

2. 轨迹条件生成器

   • 一个 时空 UNet 对每帧进行处理，同时接收 轨迹嵌入，该嵌入编码相对的 3D 位移 (\Delta p_i(t) = p_i^t(t) - p_i^s(t))。
   • 嵌入在空间上进行广播，使网络能够基于深度感知的运动线索调制像素级合成。

3. 深度感知遮挡处理

   • 由于轨迹位于 3D 空间，模型能够推断深度排序：当点移动到其他点之后时会触发相应的遮挡掩码，避免 2D 轨迹方法常见的幽灵现象。

4. 训练流程

   • 阶段 1（合成）： 使用已知几何和运动的渲染场景提供真实的 3D 轨迹，让网络学习遵守深度和运动一致性。
   • 阶段 2（真实）： 在真实视频片段上进行微调，此时 3D 轨迹通过估计获得（如 COLMAP + 光流）。自监督重建损失加上对抗视频真实感损失共同指导模型。

5. 推理

   • 用户提供源剪辑和一组目标 3D 轨迹（或运动转移源）。生成器输出遵循所指定运动的新视频，同时保持原场景的外观与质感。

结果与发现

作者展示了一系列编辑示例：在保持汽车轨迹的同时围绕其旋转相机、将舞者的动作转移到另一位表演者、以及在不破坏场景连贯性的前提下对旗帜进行非刚性变形（如拉伸）。

实际意义

• 后期制作与特效： 编辑者现在可以在不重新拍摄或手动抠图的情况下重新定向相机运动或物体动作，大幅降低劳动密集型合成工作量。
• AR/VR 内容创作： 开发者能够生成可随用户驱动相机路径自适应的沉浸式视频素材，得益于深度感知的运动控制。
• 游戏资产流水线： 动作捕捉数据可以快速转移到现有视频素材上，以快速原型化电影级过场。
• 自动化视频个性化： 品牌方可自动重新定向产品视频（例如旋转智能手机）以匹配不同广告格式，同时保持真实的光照和遮挡。
• 开源工具链： 由于该方法仅依赖稀疏 3D 轨迹——可通过现成的 SfM 库获取——因此可以以适度的工程投入集成到现有视频编辑套件中。

局限性与未来工作

• 轨迹获取开销： 虽然稀疏，但生成准确的 3D 轨迹仍需可靠的结构光束管线；在纹理匮乏或快速运动的场景中可能出现失败，进而影响结果。
• 复杂非刚性运动： 极高频率的变形（如水花飞溅）仍具挑战，因为稀疏轨迹的粒度有限。
• 对长片段的可扩展性： 时间记忆受限；非常长的序列可能需要分块处理，可能引入接缝。
• 未来方向： 作者建议探索 学习式轨迹推断（联合估计 3D 轨迹与视频合成）、交互式 UI 工具（实时轨迹编辑），以及将框架扩展到 多相机设置（立体或 360° 内容）。

作者

• Yao-Chih Lee
• Zhoutong Zhang
• Jiahui Huang
• Jui-Hsien Wang
• Joon-Young Lee
• Jia-Bin Huang
• Eli Shechtman
• Zhengqi Li

论文信息

• arXiv ID: 2512.02015v1
• 分类: cs.CV
• 发表时间: 2025 年 12 月 1 日
• PDF: Download PDF