[Paper] Video4Spatial：迈向具备上下文引导的视频生成的视觉空间智能

发布: 2天前 (2025年12月3日 GMT+8 02:59)

6 min read

原文: arXiv

Source: arXiv - 2512.03040v1

Overview

本文介绍了 Video4Spatial，一个将视频扩散模型从单纯的帧合成提升到真正的视觉空间智能的创新框架。通过仅使用纯视频上下文——不依赖深度图、姿态向量或其他辅助信号——系统能够理解并执行空间指令，实现相机姿态导航和对象定位等任务，直接从视频流中进行操作。

仅上下文条件化：展示了视频扩散模型仅凭原始视频帧作为上下文即可推断 3D 几何和空间关系。
两个基准任务：
1. 场景导航——模型在保持场景一致性的前提下，遵循自然语言的相机姿态指令。
2. 对象定位——模型根据语义指令定位并规划到目标对象。
端到端空间推理：无需单独的深度或姿态估计模块；扩散模型联合完成规划、定位和生成视频。
鲁棒的泛化能力：在更长的视频上下文以及训练期间未见过的域外环境中仍能良好工作。
数据策划流水线：提出一种轻量化的视频中心训练数据组装方法，强调空间线索，降低对昂贵 3D 标注的需求。

视频扩散骨干网络 – 作者基于最先进的视频扩散模型（例如用于视频的潜在扩散）进行构建，该模型在先前帧的潜在表示条件下预测未来帧。
场景上下文编码器 – 一个 Transformer 风格的编码器接受过去视频帧的滑动窗口，提取时空上下文向量。未显式提取深度或姿态；编码器通过运动线索学习隐式几何。
指令条件化 – 将自然语言指令（如 “向左转 30°” 或 “移动到红色椅子”）进行分词，并通过交叉注意力与场景上下文融合。
引导采样 – 在扩散采样过程中，引入 空间一致性损失，惩罚与推断的 3D 布局偏离的情况，促使生成帧遵循底层场景几何。
训练方案 – 模型在一个策划好的视频数据集上进行训练，每段剪辑都配有合成的导航或定位指令。损失函数结合标准的扩散重建损失和空间一致性项。