[Paper] Light‑X：生成式 4D 视频渲染与相机和光照控制

Source: arXiv - 2512.05115v1

Overview

本文介绍了 Light‑X，一种生成式视频渲染系统，能够在单目视频中同时控制相机路径 以及 场景的光照条件。通过将几何信息与光照信息解耦，Light‑X 能在原始素材仅在单一视角和光照设置下拍摄的情况下，生成时间一致、逼真的视频——为动态视觉特效、虚拟摄影以及交互式内容创作打开了新可能。

Key Contributions

• 联合相机与光照控制，适用于单目视频，实现自由视角变换的同时重新照亮场景。
• 解耦架构，将动态几何（通过点云轨迹）与光照线索（通过重新照明的参考帧）分离。
• Light‑Syn 数据管线：一种退化‑逆映射方案，从普通“野外”视频合成配对的多视角/多光照训练数据。
• 全面数据集，覆盖静态、动态以及 AI 生成的场景，确保在多样内容上的鲁棒性。
• 领先的性能，在联合控制任务上超越现有视频重光基线，并能够处理文本驱动和背景条件光照提示。

Methodology

1. 动态点云主干 – 首先将输入视频转换为一系列点云，捕获场景几何和运动。这些点云可以从任意用户指定的相机轨迹重新投影，为系统提供灵活的 3‑D 场景表示。

2. 光照解码器 – 另一个分支接收 重新照明 的参考帧（由传统图像重光模型生成），并将其投影到相同的点云几何上。由于几何保持不变，光照信息能够在帧之间一致传递，保持时间连贯性。

3. Light‑Syn 合成对生成 – 由于真实的多视角/多光照视频对稀缺，作者对干净视频进行退化（例如随机相机运动和光照变化），随后学习逆映射以恢复原始视频。这样即可得到模拟所需联合控制场景的合成训练对，无需人工标注。

4. 训练目标 – 网络通过重建损失（保持输出与目标视角一致）、光照一致性损失（约束光照平滑变化）以及对抗损失（提升真实感）共同优化。

整体管线可视化为：单目视频 → 动态点云 → 用户定义的相机路径 + 重新照明帧 → 渲染输出视频。

Results & Findings

• 定量提升：在合成和真实测试集上，Light‑X 的 PSNR/SSIM 分数均高于领先的视频重光基线。
• 时间稳定性：通过更低的时间扭曲误差展示了无闪烁的结果，证明解耦的几何能够保持光照跨帧的一致性。
• 用户研究：参与者在真实感和可控性方面更偏好 Light‑X 的输出，尤其是在要求复杂相机轨迹并伴随剧烈光照变化的情境下。
• 泛化能力：Light‑Syn 训练的模型在未见过的内容上表现良好，包括 AI 生成的场景，表明合成数据管线成功弥合了领域差距。

Practical Implications

• 虚拟制作与 VFX：电影制作人可以在后期虚拟重新拍摄场景，改变相机位置并应用电影级光照，而无需现场重新拍摄。
• 游戏资产创建：艺术家可从单个参考视频生成动画过场，快速探索不同的相机角度和情绪光照。
• AR/VR 体验：真实世界视频流可重新投影到沉浸式环境中，用户实时控制视角和光照。
• 内容个性化：平台可以让观众选择“白天版”或“夜间版”观看视频，或从不同视角观看，提升互动性。
• 快速原型：设计师能够在无需昂贵多摄像机设备的情况下，对产品演示或建筑漫游的光照概念进行迭代。

Limitations & Future Work

• 复杂几何处理：极细致的细节（如头发、半透明物体）在点云重新投影时仍可能出现伪影。
• 光照模型范围：当前的重光分支依赖预训练的图像重光器；扩展至间接光照或全局光照仍是挑战。
• 实时性能：虽然在高端 GPU 上可实现交互速度，但要达到移动端友好的延迟仍需进一步优化。
• 用户友好界面：未来工作可整合直观的 UI 工具（例如自然语言光照提示），降低非技术创作者的使用门槛。

总体而言，Light‑X 在实现完全可控、高保真视频合成方面迈出了重要一步，其核心思想有望影响广泛的视觉计算应用。

Authors

• Tianqi Liu
• Zhaoxi Chen
• Zihao Huang
• Shaocong Xu
• Saining Zhang
• Chongjie Ye
• Bohan Li
• Zhiguo Cao
• Wei Li
• Hao Zhao
• Ziwei Liu

Paper Information

• arXiv ID: 2512.05115v1
• Categories: cs.CV
• Published: December 4, 2025
• PDF: Download PDF