[Paper] SwimBird: 在混合自回归 MLLMs 中引发可切换的推理模式

Source: arXiv - 2602.06040v1

Overview

SwimBird 是一个新的多模态大语言模型（MLLM），可以在运行时切换推理方式，为每个用户查询选择文本‑仅、视觉‑仅或文本‑视觉组合的最佳混合方式。通过这样做，它在纯语言任务上保持强大的逻辑能力，同时在需要大量视觉的任务（如详细图像分析和视觉问答）上显著提升性能。

关键贡献

• Dynamic reasoning‑mode selection：引入三种可互换的模式（仅文本、仅视觉、交叉），模型根据输入自动激活。
• Hybrid autoregressive formulation：在单一解码器中统一词元级预测（用于文字）和嵌入级预测（用于视觉“思考”），实现无缝模式切换。
• SwimBird‑SFT‑92K dataset：精心策划了包含 92 K 条示例的监督微调集，刻意覆盖所有三种推理模式，为模型提供何时使用各模式的具体示例。
• State‑of‑the‑art performance：在经典文本推理套件（如 MMLU、GSM‑8K）和视觉密集任务（如 VQA‑Hard、OK‑VQA、ScienceQA‑Vis）上设立了新基准。
• Robustness to fixed‑pattern baselines：证明了灵活的方法避免了以牺牲文本逻辑为代价注入视觉思考的先前方法中出现的权衡。

方法论

1. Hybrid Autoregressive Decoder

   • 解码器在模型以文本模式推理时预测下一个 token。
   • 在视觉模式下，它预测下一个 visual embedding（表示“视觉思考”的连续隐藏状态）。
   • 两种预测共享同一 transformer 堆栈，因此模型可以在 token 和 embedding 输出之间切换，而无需重新初始化参数。

2. Reasoning‑Mode Curation

   • 作者构建了三种提示模板：一种要求模型仅使用语言回答，一种要求它“视觉思考”（生成 embedding），以及一种混合两者的模板。
   • 人类标注者为 92 K 条训练样本标注了相应的模式，确保模型看到每种模式的平衡分布。

3. Mode‑Conditioned Inference

   • 推理时，一个轻量级分类器（与主模型联合训练）会查看输入查询并预测最合适的模式。
   • 模型随后遵循所选路径，生成文本 token、视觉 embedding，或两者交替的序列。

结果与发现

• 视觉密集任务 看到两位数的百分点提升，证实模型在需要时能够有效“视觉思考”。
• 纯语言任务 保持原有性能，表明可切换设计并未牺牲逻辑推理。
• 消融实验显示，模式预测分类器贡献约 2 pp 的视觉提升，其余由混合自回归损失提供。

实际影响

• 开发者 API：SDK 可以提供一个用于多模态查询的单一端点；后端模型会自动决定是否为视觉嵌入分配 GPU 内存，或保持轻量级文本模式，从而优化成本。
• 企业 AI：构建视觉助理的公司（例如产品检测机器人、医学影像分诊）可以集成 SwimBird，获得强大的语言解释和精确的视觉推理，而无需维护多个模型。
• 边缘部署：由于模型在大多数请求中可以保持仅文本模式，延迟敏感的应用可以跳过昂贵的视觉嵌入计算，除非查询确实需要。
• 工具与插件：支持“代码+截图”调试的 IDE 扩展可以利用交错模式，对 UI 截图进行推理，同时生成文本建议，提高开发者生产力。

限制与未来工作

• 模式预测可靠性：分类器有时会误判模糊查询，导致推理路径次优。
• 训练成本：构建 92 K 精选数据集并训练混合解码器需要大量计算资源，对小实验室可能构成阻碍。
• 对其他模态的可扩展性：当前设计聚焦于视觉；将可切换框架扩展到音频或视频流仍是未解挑战。

未来的研究方向包括使用强化学习改进模式选择器、压缩混合模型以实现设备端推理，以及探索超越视觉‑文本组合的多模态切换。

作者

• Jintao Tong
• Shilin Yan
• Hongwei Xue
• Xiaojun Tang
• Kunyu Shi
• Guannan Zhang
• Ruixuan Li
• Yixiong Zou

论文信息

• arXiv ID: 2602.06040v1
• 分类: cs.CV
• 发布时间: 2026年2月5日
• PDF: 下载 PDF