[Paper] WorldReel：4D 视频生成，实现一致的几何与运动建模

Source: arXiv - 2512.07821v1

概览

WorldReel 是一个全新的四维（4D）视频生成框架，能够不仅生成逼真的 RGB 帧，还生成一致的底层场景表示——包括点云、相机轨迹和稠密运动场。通过在合成数据（具备完美的 3D/4D 监督）和真实视频素材（提供视觉丰富度）混合训练，模型能够在大幅相机运动和非刚性物体运动下仍保持几何和时间上的一致性。

主要贡献

• 联合 RGB + 4D 输出：同时生成视频帧和显式的 4D 场景描述（点图、相机路径、稠密光流）。
• 时空一致性：在所有视角和时间步上强制单一、持久的场景，消除现有视频生成器常见的“抖动”和“重影”伪影。
• 混合训练管线：将具备精确几何/运动标签的合成数据与真实世界视频相结合，实现对野外内容的强泛化能力。
• 先进的评估指标：在几何一致性、运动连贯性和视角时间伪影降低方面设立新基准，用于动态场景视频合成。
• 开放式表示：生成的 4D 资产可从新视角重新渲染、编辑，或用于仿真、AR/VR 内容创作等下游任务。

方法论

1. 4D 场景骨干网络 – 一个神经编码‑解码器为每个时间步预测 点图（带有颜色/特征属性的稠密 3D 点集合），以及 相机轨迹（每帧的外参）和将相邻点图联系起来的 稠密光流场。
2. 一致性损失 – 模型会因点图渲染视图与生成的 RGB 帧之间的不匹配，以及跨时间的光流扭曲几何不一致而受到惩罚。这迫使网络保持一个能够解释所有帧的统一底层世界。
3. 合成监督 – 在已知真实几何、运动和相机参数的渲染场景上，网络对所有 4D 组件进行直接监督。
4. 真实世界微调 – 第二阶段使用未标注的视频片段，仅施加 RGB 重建损失，同时继续使用 4D 一致性项对模型进行正则化，从而在不牺牲几何性的前提下注入真实感。
5. 渲染引擎 – 推理时，点图通过可微分的溅射渲染器进行光栅化，生成最终帧，确保视觉输出始终基于预测的 3D 结构。

结果与发现

• 定量提升：WorldReel 将几何一致性得分提升约 30 %，并将视角时间闪烁指标降低约 45 %，相较于领先的视频 GAN 和扩散模型。
• 定性鲁棒性：在快速平移、旋转物体和布料变形的测试视频中，形状和纹理在帧间保持稳定，而基线方法则出现明显抖动或几何消失。
• 泛化能力：在野生互联网视频（如手持手机拍摄）上评估时，模型仍能保留合理的 3D 结构，尽管从未见过这些具体场景。
• 消融实验：去除合成监督会导致几何保真度急剧下降，验证了精确 4D 标签的重要性；省略光流一致性项则会产生时间伪影。

实际意义

• 内容创作流水线 – 电影制作者和游戏开发者可以生成可从任意相机角度重新投影的背景板或动态资产，降低昂贵的 3D 建模成本。
• AR/VR 体验 – 实时生成一致的 4D 世界使得虚拟对象能够自然地与生成的环境交互，提升沉浸感。
• 仿真与机器人 – 显式的点图和运动场提供即用的世界模型，可用于训练感知或规划算法，弥合合成仿真器与真实视频数据之间的鸿沟。
• 视频编辑工具 – 由于底层几何可得，开发者可以构建“智能”抠像、对象移除或风格迁移工具，遵循深度和运动信息，从而实现更高质量的后期特效。

局限性与未来工作

• 分辨率上限 – 当前实验仅限于 256 × 256 帧；要扩展到 4K 视频需要更高效的渲染和内存友好的点表示。
• 复杂光照 – 模型假设相对简单的光照条件；处理高动态范围光照、阴影和反射仍是未解难题。
• 长期时间一致性 – 虽然短片段（≤ 5 s）保持一致，但在更长序列中会出现漂移，提示需要层次化或记忆增强的架构。
• 场景多样性 – 合成训练数据覆盖的物体类别有限；扩大合成库以包含更多材质和动态行为可进一步提升真实世界的泛化。

WorldReel 标志着向能够在四维空间思考的视频生成器迈出的重要一步，为需要可靠、可编辑且物理上合理的视觉内容的开发者打开了新可能。

作者

• Shaoheng Fang
• Hanwen Jiang
• Yunpeng Bai
• Niloy J. Mitra
• Qixing Huang

论文信息

• arXiv ID: 2512.07821v1
• 分类: cs.CV, cs.AI
• 发布日期: 2025 年 12 月 8 日
• PDF: Download PDF