[Paper] UEval：统一多模态生成基准

Source: arXiv - 2601.22155v1

概述

本文提出了 UEval，这是一项新基准，旨在测试能够在单个响应中生成图像和文本的“统一”AI模型。通过收集 1,000 条精心挑选的真实世界问题，这些问题需要多模态输出，作者提供了一种衡量当前系统在视觉和语言之间同步推理能力的方法。

关键贡献

• 统一的多模态基准 – 1,000 个专家策划的问题，涵盖八个多样化任务（例如，逐步指南、教材式解释）。
• 基于评分标准的自动评分 – 一种新颖的流水线，使用多模态 LLM 起草评估评分标准，然后由人工专家完善，产生了 10,417 条验证标准。
• 细粒度、可扩展的评估 – 评分标准系统实现了对图像质量和文本正确性的自动、详细评分，而不依赖单一的“LLM‑as‑judge”。
• 经验基线结果 – 最先进的统一模型（包括专有的 “GPT‑5‑Thinking”）仅得 66.4/100，最佳开源模型得 49.1/100。
• 推理洞察 – 配备显式推理（链式思考）的模型始终优于无推理模型；迁移推理轨迹可缩小性能差距。

方法论

1. 任务收集与策划 – 作者从八个领域（例如烹饪指令、科学解释）收集了真实世界的提示，并让领域专家验证每个提示确实需要图像和文字描述。
2. 参考答案 – 对每个提示，创建高质量图像及相应的文字答案，作为真实答案。
3. 评分标准生成流程
   • 多模态大语言模型接收提示、参考图像和参考文字，生成一组初步的评估标准（例如“生成的图表标注是否正确？”或“标题是否解释了视觉内容？”）。
   • 人类专家审阅、编辑并验证这些标准，将其转化为该特定问题的 评分标准。
4. 自动评分 – 当模型输出提交后，同一多模态大语言模型使用已验证的评分标准对每个标准打分，随后汇总为最终的 0‑100 分评级。
5. 基线实验 – 对多款商业和开源统一模型进行评估，分别在有无显式推理步骤的情况下，建立性能基线。

Source: …

结果与发现

• 推理很重要：生成中间推理过程（例如“先画图，然后写说明”）的模型优于直接输出答案的模型。
• 推理轨迹迁移有效：将强推理模型的推理轨迹输入到较弱的非推理模型，可提升约 10 分，表明推理过程本身是有价值的信号。
• 当前差距：即使是最顶尖的商业系统，也仍与完美表现有相当大的差距，说明统一的多模态生成仍是一个未解决的研究问题。

实际意义

• 产品开发者 可以使用 UEval 对任何内部多模态生成流水线进行基准测试（例如，生成带注释图表的 AI 助手，自动创建信息图的营销工具）。
• 细粒度反馈 来自评分标准，可实现有针对性的改进——如果模型在“图像与标题的视觉一致性”上持续失分，工程师就能明确应在数据或架构上进行哪些调整。
• 推理流水线：链式思考（chain‑of‑thought）推理的明显优势表明，加入“先思考、后生成”阶段（即使作为独立模块）可以提升实际应用，如自动报告生成、教育内容创作和设计辅助工具。
• 开源社区：该基准的公开评分标准文件和评分代码为爱好者和初创公司提供了一种低成本的方式来评估和迭代多模态模型，无需昂贵的人类标注循环。

限制与未来工作

• 对 LLM 的评分标准依赖：虽然经过人工验证，最初的评分标准仍然依赖于多模态 LLM，可能会继承其偏见或盲点。
• 任务范围：UEval 覆盖了八个领域，但许多行业场景（例如医学影像报告、CAD 设计）仍未进行测试。
• 评分粒度与主观性：某些标准（例如“审美吸引力”）本质上具有主观性；未来版本可以引入众包验证以降低方差。
• 推理轨迹转移：论文展示了有前景的结果，但仍需系统研究如何在不同模型族之间最佳地编码、存储和复用推理轨迹。

总体而言，UEval 为衡量必须同时思考和绘图的下一代 AI 系统奠定了坚实基础——这是迈向真正统一的多模态助手的重要一步。

作者

• Bo Li
• Yida Yin
• Wenhao Chai
• Xingyu Fu
• Zhuang Liu

论文信息

• arXiv ID: 2601.22155v1
• 分类: cs.CV, cs.CL
• 发布时间: 2026年1月29日
• PDF: 下载 PDF