[Paper] 使用 VideoScience-Bench 对视频生成的科学理解与推理进行基准测试

发布: 3天前 (2025年12月3日 GMT+8 01:11)

8 min read

原文: arXiv

Source: arXiv - 2512.02942v1

概览

一个名为 VideoScience-Bench 的新基准将视频生成模型的评估从视觉逼真度提升到科学推理层面。通过测试模型是否能够合成遵循本科水平物理和化学定律的视频，作者揭示了当前视频生成研究中的关键盲点，并提供了一种具体的方法来衡量向真正的“零样本”推理系统的进展。

提示设计 – 每个基准条目都是一个自然语言描述，融合多个科学概念（例如 “一根金属棒一端受热，另一端浸入液氮中”）。提示经过领域专家审查，确保需要真正的推理，而非仅仅视觉模式匹配。
视频生成 – 作者在两种设置下运行七个领先的视频生成模型（如 Make‑It‑3D、Imagen‑Video、Phenaki）：
- T2V – 直接根据文本提示生成。
- I2V – 先根据提示生成关键帧图像，再对其进行动画化。
人工标注 – 由一组科学家对每个生成视频在五个维度上进行评分，以捕捉科学正确性和时间连贯性。
VLM‑as‑Judge – 使用大型视觉语言模型（如 GPT‑4V）对相同维度进行评估。相关性分析表明 VLM 分数与人工判断高度一致，从而实现可扩展的基准评测。

该流程刻意保持轻量化：prompts → model → VLM judge，使得任何人都可以轻松接入新的视频生成器。

整体科学忠实度低 – 即使是表现最好的模型，综合得分也不足 30 %，说明当前系统很少遵守基本的物理或化学定律。
一致的失效模式 – 模型往往能够正确呈现外观，却在动力学上出错（例如物体应下落却漂浮），或忽视不可变性（例如本应不可逆的化学反应被表现为逆向进行）。
提示一致性是最容易的维度 – 模型可以表面上遵循文本描述，却仍产生物理上不可能的运动。
VLM 评审可靠性 – 所有维度上 VLM 分数与人工评分的 Pearson 相关系数 > 0.85，验证了自动评估流水线的有效性。
I2V 与 T2V 对比 – 图像到视频的流水线在空间细节保持上更好，但在时间物理方面表现更差；而纯 T2V 模型有时能够捕捉动态，却以牺牲视觉真实感为代价。

安全关键的仿真 – 机器人、自动驾驶或虚拟实验室等行业不能依赖当前视频生成器来实现准确的物理仿真；VideoScience‑Bench 提供了一种诊断工具来评估准备程度。
科学内容的提示工程 – 开发教育或培训视频的团队现在拥有一个基准，可测试其提示是否能产生科学上合理的输出。
模型选择与微调 – 多维得分帮助团队识别需要针对性数据增强或架构改进的方面（如动态性 vs. 不可变性）。
基础模型评估 – 随着多模态基础模型（如 GPT‑4V、Gemini）声称具备“推理”能力，VideoScience‑Bench 为验证这些模型在视觉领域的推理声明提供了具体的下游任务。
数据集创建流水线 – 基准的提示生成方法可迁移到其他领域（如生物学、工程学），用于对生成模型进行领域特定推理的压力测试。

通过揭示这些缺口，VideoScience‑Bench 为下一代不仅外观优秀且能够像科学家一样“思考”的视频模型奠定了基础。