[Paper] ReasonEdit：使用人类推理编辑视觉语言模型

发布: 1天前 (2026年2月3日 GMT+8 02:06)

7 min read

原文: arXiv

Source: arXiv - 2602.02408v1

概述

论文 ReasonEdit 提出了一种新颖的方式，通过将人类推理直接注入模型的知识库来“编辑”大型视觉‑语言模型（VLMs）。它并非仅仅微调权重以修正单一错误，而是将纠正背后的推理理由存储下来，并利用该理由来指导未来的预测，从而显著提升模型将编辑推广到新的、相关查询的能力。

首个具备推理感知的 VLM 编辑器 – 使用户能够在提供期望输出（“what”）的同时，提供自然语言解释（“why”）。
人类推理代码本 – 一个持续更新的仓库，捕获从用户编辑中提取的简洁推理事实。
拓扑平衡的多模态嵌入 – 基于图论的检索机制，在推理时选择最相关的推理事实，确保视觉和文本模态的影响平衡。
领先的性能 – 在四个流行的 VLM（如 CLIP‑ViT、BLIP、OFA、Flamingo）和多个基于推理的 VQA 基准上，ReasonEdit 以大幅优势超越现有编辑器。
编辑泛化的实证 – 编辑能够传播到需要相同推理路径的未见问题，证明存储的推理作为可复用的知识片段。

编辑输入 – 开发者提供一个 三元组：（图像、错误答案、正确答案），并附上一段简短的自然语言解释，说明原答案为何错误。
推理码本构建 – 将解释编码为密集向量，并与关联图像区域的轻量标识符一起存储在码本中。随着更多编辑的进行，码本会逐步增长。
拓扑平衡检索 – 推理时，模型构建一个多模态图，节点包括图像块、文本标记和码本条目。边的权重基于相似度，并使用一个平衡项（来源于网络科学概念，如节点度和介数），确保单一模态不会主导检索。随后获取前 k 条最相关的推理事实。
融合与预测 – 将检索到的推理向量通过简单的加性偏置或学习的门控模块注入 VLM 的 Transformer 层。模型随后生成答案，此时答案受原有知识和人为提供的推理理由共同影响。
持续学习 – 每次编辑后，码本会被更新，检索模块通过轻量对比损失进行微调，以保持图的拓扑结构与不断演化的推理空间保持一致。

模型	基线 VQA 准确率	ReasonEdit 准确率（编辑后）	Δ 泛化（未见问题）
CLIP‑ViT	62.1 %	78.4 %	+12.3 %
BLIP	68.5 %	84.1 %	+15.0 %
OFA	70.2 %	86.7 %	+14.5 %
Flamingo	73.8 %	89.2 %	+16.1 %

编辑成功率（模型在编辑实例上给出纠正答案）在所有四个 VLM 中均超过 95 %。
泛化：当出现需要相同推理链的新问题时，ReasonEdit 的答案相较未编辑的基线提升了 12–16 %（绝对值），验证了存储的推理过程可作为可重用的“知识补丁”。
消融实验：去除拓扑平衡项会使泛化性能下降约 5 %，凸显其防止过度依赖视觉或文本线索的作用。
效率：代码本查找每次查询增加 < 15 ms，使该方法适用于实时应用。

快速模型修正：开发者可以通过提供简短解释来纠正 VLM 的错误（例如误解医学图像），无需完整微调。
合规监管：在需要审计的领域，推理代码本提供了模型被编辑的透明日志，说明 为什么 进行编辑，满足文档需求。
可复用的知识模块：推理事实可以在项目之间共享——一旦存储了“红灯表示停止”的理由，任何使用 ReasonEdit 的 VLM 都能立即将其应用于新的交通场景查询。
边缘设备适配：因为编辑被存储为紧凑向量而不是完整权重更新，ReasonEdit 可以部署在计算资源受限的设备上（如 AR 眼镜），实现对 VLM 行为的即时个性化。
改进的人机协作工作流：质量保证团队可以通过对错误进行解释性标注来迭代优化 VLM，将编辑过程转变为协作式调试，而不是黑箱再训练管道。

总体而言，ReasonEdit 通过利用人类在纠错时自然提供的推理，开辟了一条使大型视觉语言模型更易维护、可解释且更具适应性的有前景的路径。