[Paper] WorldLens：真实世界中驾驶世界模型的全谱评估

Source: arXiv - 2512.10958v1

概览

论文 WorldLens 关注生成式驾驶世界模型中日益突出的盲点：虽然它们能够生成逼真的场景，但在几何、物理和可控性方面常常出现问题。为此，作者提出了一个全面的基准，评估模型在整个“世界构建”流水线中的表现——从原始视频生成到下游自动驾驶任务——并配套大规模人工标注数据集和学习评估代理。

主要贡献

• WorldLens 基准 – 一个五维套件（生成、重建、动作跟随、下游任务、人类偏好），联合衡量视觉真实感、几何一致性、物理合理性和功能可靠性。
• WorldLens‑26K 数据集 – 26,000 条人工评分的驾驶视频，包含数值分数和文字理由，覆盖多种失效模式。
• WorldLens‑Agent – 一个在人工标注上蒸馏得到的评估模型，能够为新生成的世界模型输出可扩展、可解释的分数。
• 全面的实证研究 – 系统评估多种最先进的生成式世界模型，揭示了权衡（例如纹理质量 vs. 物理保真度）。
• 开源生态系统 – 基准代码、数据集和评估代理均已公开，以促进可复现性和未来扩展。

方法论

评估轴的定义

• 生成：评估原始视频质量（如清晰度、纹理真实感）。
• 重建：检查模型是否能够从生成的帧中忠实恢复已知的 3D 几何和深度信息。
• 动作跟随：衡量世界是否能正确响应预设的车辆控制序列（转向、油门）。
• 下游任务：在合成世界中运行下游自动驾驶堆栈（如感知、规划），评估其性能。
• 人类偏好：通过众包评分捕获对真实感和可信度的主观判断。

数据收集

• 使用真实驾驶日志（传感器流、控制指令）作为种子。
• 多个生成式世界模型基于这些种子合成 4D 视频。
• 人工标注者观看视频，给出 1‑10 分的评分，并撰写简短理由（例如 “车辆在没有转向输入的情况下漂离道路”。）

训练 WorldLens‑Agent

• 一个多模态 Transformer 接收视频帧、控制信号和可选的深度图。
• 监督来自数值分数和文字理由，使模型能够预测标量质量分数以及解释性文本片段。

基准执行

• 每个模型在五个轴上进行评估；分数聚合后生成 “World Fidelity” 概况，突出模型的优势与不足。

结果与发现

• 不存在通用最佳模型：在纹理逼真度上表现出色的模型（如基于扩散的生成器）往往产生物理上不可能的运动（如车辆在无摩擦情况下滑动）。相反，侧重几何的模型保持深度一致性，却生成细节贫乏、视觉平淡的画面。
• 与人类判断的相关性：WorldLens‑Agent 预测的分数与人工评分的 Pearson 相关系数为 0.78，其生成的理由在约 70 % 的案例中与标注者解释相匹配（BLEU‑4）。
• 下游影响：当在合成世界中评估自动驾驶感知堆栈时，物理保真度低的模型导致性能相较真实数据下降最高可达 45 %，凸显不真实动力学的实际代价。
• 动作跟随差距：即使是表现最好的模型，也仅能遵循约 80 % 的预设控制指令，表明闭环仿真仍有提升空间。

实际意义

• 更安全的基于仿真开发：工程师现在可以定量挑选保留物理性的世界模型，降低在自动驾驶流水线中出现“仿真到真实”转移失败的风险。
• 基准驱动的模型设计：五轴框架鼓励研究者在纹理、几何和动力学之间取得平衡，而不是仅优化单一视觉指标。
• 可扩展的质量保证：WorldLens‑Agent 提供自动、可解释的评分服务，可集成到生成式仿真工具的 CI 流程中，在不真实输出进入下游测试前进行标记。
• 跨领域应用：虽然聚焦于驾驶，基准结构（生成 → 重建 → 动作 → 任务 → 人类）同样可适用于机器人、AR/VR 以及任何需要合成世界既可信又功能性强的领域。

局限性与未来工作

• 领域特定性：基准围绕城市驾驶场景构建；扩展到越野、空中或室内环境需要新数据并可能增设评估轴。
• 标注成本：高质量的人类理由在大规模上成本高昂；未来工作可探索半监督或主动学习方法以降低标注负担。
• 代理的泛化性：WorldLens‑Agent 目前假设可获取控制信号；如何处理纯生成模型（无显式动作输入）仍是未解挑战。
• 真实世界验证：虽然下游任务性能下降具有指示意义，但完整的端到端真实部署测试（如在测试车辆上）将进一步验证基准的实际价值。

WorldLens 提供了首个统一的度量标准，衡量生成的驾驶世界不仅“好看”，更要“行为可信”，为自动化系统的仿真优先开发铺平了道路。

作者

• Ao Liang
• Lingdong Kong
• Tianyi Yan
• Hongsi Liu
• Wesley Yang
• Ziqi Huang
• Wei Yin
• Jialong Zuo
• Yixuan Hu
• Dekai Zhu
• Dongyue Lu
• Youquan Liu
• Guangfeng Jiang
• Linfeng Li
• Xiangtai Li
• Long Zhuo
• Lai Xing Ng
• Benoit R. Cottereau
• Changxin Gao
• Liang Pan
• Wei Tsang Ooi
• Ziwei Liu

论文信息

• arXiv ID: 2512.10958v1
• Categories: cs.CV
• Published: December 11, 2025
• PDF: Download PDF