[Paper] 规模无法克服语用学：报告偏差对 Vision-Language Reasoning 的影响

Source: arXiv - 2602.23351v1

请提供您希望翻译的正文内容，我将按照要求保留源链接并翻译为简体中文。

概述

视觉语言模型（VLM），如 OpenCLIP、LLaVA‑1.5 和 Molmo，在图像描述和多模态检索方面取得了令人印象深刻的表现，但在需要对空间、时间、否定或计数进行推理时仍会出现错误。本文认为根本原因在于用于训练这些模型的大规模网络数据集中的报告偏差：人们倾向于只描述图像中“有趣”的部分，而省略了进行更深层次推理所需的隐含信息。通过以务实的视角审视数据，作者表明，仅仅扩大数据或模型规模并不能神奇地填补这一空白。

关键贡献

• 识别报告偏差 为在标题语料库中系统性省略隐含视觉细节，将其关联到四项核心推理技能（空间、时间、否定、计数）。
• 量化偏差 使用受语用理论启发的度量，在三个广泛使用的 VLM 训练语料库（OpenCLIP、LLaVA‑1.5、Molmo）中进行。
• 策划针对性基准，分别孤立四种推理能力，揭示不同模型规模和语言的一致性能下降。
• 展示仅靠规模扩张不足：更大的数据集、更大的模型以及多语言预训练并未带来新出现的推理能力。
• 表明显式标注有帮助：加入适量的“隐含信息”标签即可显著提升推理性能，证实有意的数据策划的必要性。

方法论

1. 务实视角 – 作者借鉴语言语用学（例如 Grice 的准则）的概念，来界定说话者通常会省略的“隐含”信息。
2. 偏差审计 – 对每个训练语料库，计算包含显式空间描述、时间线索、否定或数值计数的标题频率， 并与省略这些信息的标题进行对比。
3. 基准构建 – 构建四个诊断套件：
   • 空间：关于相对位置的问题（例如 “猫在沙发左侧吗？”）
   • 时间：事件顺序的问题（例如 “那个人在雨开始前到达吗？”）
   • 否定：检测缺失的情况（例如 “场景中没有狗吗？”）
   • 计数：精确的对象数量（例如 “可见的椅子有多少把？”）
     每个套件包含图像‑问题对，答案取决于缺失的隐含细节。
4. 模型评估 – 使用零样本提示（zero‑shot prompting）和少样本微调（few‑shot fine‑tuning）在这些套件上测试最先进的视觉语言模型（VLM）。
5. 干预研究 – 作者在原始训练数据中加入一小批手工策划的“隐含信息丰富”注释，并重新训练/微调模型，以衡量性能提升。

结果与发现

• 报告偏差普遍存在：即使是最大的网络规模语料库，显式空间或时间线索的标题也不足 <30 %。
• 规模化并未弥补：参数高达 1 B、在 >10 B 图文对上训练的模型仍未能缩小差距。
• 针对性数据可解决问题：仅加入 0.5 % 的 tacit‑rich 示例，即可在所有推理类别上实现 15–25 % 的绝对提升。

实际意义

• 数据策划胜于规模 – 为机器人、AR/VR 或内容审核等应用构建 VLM 的团队应优先考虑注释的质量（例如明确的空间标签、事件时间戳），而不是仅仅积累更多网络数据。
• 提示工程的局限 – 除非底层训练数据已经包含所需的隐含线索，否则依赖巧妙的提示来诱导现有 VLM 推理的做法不太可能成功。
• 微调策略 – 在一个适度、标注完善的数据集上训练轻量级的“推理头”，可以显著提升性能，为产品团队提供成本有效的路径。
• 评估标准 – 将面向实用性的基准纳入 CI 流水线，可提前捕捉推理盲点，防止在安全关键系统中出现下游故障。

限制与未来工作

• 偏差范围 – 本研究聚焦于以英语为中心的网页字幕；其他语言和领域（例如医学影像）可能表现出不同的偏差模式。
• 标注成本 – 虽然所需的 tacit‑rich 数据量很小，创建高质量标注仍然需要专家投入。
• 模型架构 – 实验使用了现有的 VLM 主干；未来工作可以探索显式建模语用推理的架构（例如联合视觉‑语言语用模块）。
• 长期推理 – 基准针对短程推理；扩展到多步或常识链仍是一个未解的挑战。

底线：更大的数据集不会神奇地让 VLM 具备“读懂言外之意”的能力。刻意、具备语用意识的数据收集是解锁真实世界 AI 系统可靠视觉推理的关键。

作者

• Amita Kamath
• Jack Hessel
• Khyathi Chandu
• Jena D. Hwang
• Kai-Wei Chang
• Ranjay Krishna

论文信息

• arXiv ID: 2602.23351v1
• 分类: cs.CL, cs.CV
• 出版日期: 2026年2月26日
• PDF: 下载 PDF