[Paper] World‑R1：强化 3D 约束用于文本到视频生成

Source: arXiv - 2604.24764v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文，并保留原始的格式、Markdown 语法以及技术术语。谢谢！

Overview

World‑R1 解决了文本到视频生成中的一个长期存在的问题：输出在逐帧上看起来不错，但在观察场景的 3‑D 几何随时间的变化时会出现崩溃。通过将几何一致性视为强化学习 (RL) 目标，作者在 不改动底层扩散架构 的前提下提升了 3‑D 连贯性，使该方法足够轻量，能够直接插入现有的视频基础模型中。

关键贡献

• 基于强化学习的3‑D约束执行 – 引入一个强化学习循环（Flow‑GRPO），通过奖励视频匹配预训练3‑D基础模型预测的空间结构来实现约束。
• 纯文本世界模拟数据集 – 整理了一个大型仅文本语料，描述静态和动态的3‑D场景，使模型仅通过语言学习世界层面的约束。
• 架构无关的微调 – 在保持原始视觉保真度的同时提升几何一致性，避免对扩散主干进行昂贵的重新设计。
• 周期性解耦训练计划 – 在“刚性”（几何聚焦）和“流体”（运动聚焦）训练阶段之间交替进行，在结构稳定性和自然运动之间取得平衡。
• 全面评估 – 在多个基准视频生成任务中展示了3‑D一致性指标和人类偏好研究的可衡量提升。

方法论

1. 基础模型 – 采用最先进的文本到视频扩散模型（例如，Imagen‑Video、Make‑A‑Video）。
2. 3‑D 反馈来源
   • 3‑D 基础模型：一个预训练的神经渲染器，可从视频帧预测深度、姿态和网格。
   • 视觉‑语言模型：类似 CLIP 的编码器，用于评估生成帧与输入提示的匹配程度。
3. 强化循环（Flow‑GRPO）
   • 视频生成器提出一个短片段。
   • 3‑D 模型提取几何描述符（深度图、相机轨迹）。
   • 奖励函数结合几何一致性（例如，跨帧低深度方差）和语义相关性（CLIP 相似度）。
   • 使用基于奖励的近端策略优化（GRPO）的策略梯度更新生成器参数。
4. 训练计划
   • 刚性阶段（每 N 步）：对几何奖励赋予高权重 → 强制模型遵守静态结构。
   • 流动阶段：降低几何权重，提高运动/纹理奖励 → 恢复自然动态。
5. 数据集 – “World‑Sim” 语料库包含约 20 万条文本场景描述（例如，“一座大理石雕像在阳光充足的中庭中缓慢旋转”），这些描述明确编码了 3‑D 关系，使得强化学习代理能够仅凭语言进行学习。

结果与发现

• 几何一致性 平均提升约 45%，减少抖动和深度漂移。
• 视觉质量（清晰度、色彩保真度）与原始模型持平，验证了“架构无关”的声明。
• 定性示例展示了稳定的物体（例如旋转立方体），它们在数十帧中保持形状，而基线模型往往在几秒后就失去这种稳定性。

实际意义

Source: …

限制与未来工作

• Reward design complexity – 在几何奖励与运动奖励之间取得平衡需要仔细调参；权重设置不佳会导致生成的视频过于僵硬或过于流畅。
• Dependence on 3‑D priors – 外部 3‑D 基础模型的质量直接限制了可实现的一致性；深度估计中的错误会传播到生成器。
• Scalability to long videos – 实验仅聚焦于 ≤ 8 秒的片段；将其扩展到分钟级叙事可能需要层次化强化学习或记忆机制。
• Dataset bias – 纯文本的 “World‑Sim” 语料库侧重于室内/建筑场景；更为多样的领域（例如水下、群体场景）仍未得到充分探索。

未来的方向包括通过元学习实现自动化奖励塑形、融合多视角 3‑D 监督，以及将该方法扩展到多模态生成（音频同步视频）。

World‑R1 表明，你不必从头重建视频扩散模型即可获得更好的 3‑D 保真度——只需一个智能的强化学习包装器和合适的文本世界数据，就能弥合炫目生成视频与物理上合理的虚拟世界之间的差距。这为开发者以最小的工程开销，将更可靠、具几何感知的视频合成嵌入其产品打开了大门。

作者

• Weijie Wang
• Xiaoxuan He
• Youping Gu
• Yifan Yang
• Zeyu Zhang
• Yefei He
• Yanbo Ding
• Xirui Hu
• Donny Y. Chen
• Zhiyuan He
• Yuqing Yang
• Bohan Zhuang

论文信息

• arXiv ID: 2604.24764v1
• 分类: cs.CV
• 出版日期: 2026年4月27日
• PDF: 下载 PDF