[Paper] Penguin-VL：探索基于LLM的视觉编码器在VLM中的效率极限

Source: arXiv - 2603.06569v1

Overview

Penguin‑VL 调查我们在不依赖大规模对比预训练（例如 CLIP）的情况下，能够将 紧凑的视觉‑语言模型 (VLM)——仅有几十亿参数——推向多远。通过从 仅文本的大语言模型 (LLM) 初始化视觉编码器，作者展示了可以保留细粒度的视觉细节，从而在面向边缘友好硬件的环境中实现强大的多模态推理。

关键贡献

• 基于 LLM 的视觉编码器（Penguin‑Encoder）： 一种从预训练的仅文本 LLM 引导视觉特征的新方法，规避了对大规模对比数据集的需求。
• 展示了效率： 在仅使用 2 B–8 B 参数的情况下，性能可与最先进的 VLM（如 Qwen3‑VL）持平或更佳。
• 细粒度视觉保真度： 表明对比预训练会抑制细微的空间线索，而 Penguin‑Encoder 能保留这些线索，惠及密集字幕、文档理解和多视角视频任务。
• 广泛的基准套件： 在覆盖数学推理、视觉知识、文档 OCR 与时序视频理解的图像和视频数据集上进行评估。
• 即插即用的兼容性： Penguin‑Encoder 可在现有 VLM 流程中替换传统的对比预训练编码器，几乎无需额外工程工作。

方法论

1. 视觉编码器初始化：

   • 从已经学习了丰富的标记嵌入和注意力模式的大型语言模型（例如 LLaMA 风格）开始。
   • 用 按补丁的视觉分词器 替换标记嵌入矩阵，该分词器将图像补丁映射到相同的嵌入空间。
   • 使用 跨模态语言建模目标（在给定图像补丁的情况下预测文本），而非对比损失，对编码器在适度的多模态语料库上进行微调。

2. 多模态融合：

   • 将视觉嵌入输入到与 LLM 相同的 Transformer 主干中，实现视觉和语言流的无缝交互。
   • 不需要额外的跨注意力模块；统一的 Transformer 处理两种模态。

3. 训练方案：

   • 使用图像‑文本对、视频‑文本片段和文档 OCR 数据的混合。
   • 强调 数据效率：模型在比 CLIP 风格预训练少约 10 倍的图像‑文本示例下即可收敛。

4. 评估协议：

   • 在标准 VLM 任务（VQAv2、OK‑VQA、MathVista）以及专门的密集感知任务（DocVQA、VideoQA、密集字幕）上进行基准测试。
   • 与使用对比预训练视觉编码器且规模相似的强基线进行比较。

结果与发现

• 在所有测试任务中，尽管体积更小，仍具可比或更高的准确率。
• 消融研究表明，将 Penguin‑Encoder 替换为 CLIP 预训练的编码器会导致性能下降 3–7 pts，尤其是在需要细粒度空间推理的任务上（例如密集字幕）。
• 训练效率：Penguin‑VL 在所需的对比预训练基线训练步数约为 0.5 × 时即可达到峰值性能。

实际影响

• Edge deployment: 开发者现在可以将 VLM 能力嵌入智能手机、AR 眼镜或低功耗机器人，而无需使用重量级模型或大量设备存储。
• Reduced data costs: 由于该方法避免了大型对比数据集，组织可以在专有的、特定领域的图文语料库（例如医学影像报告）上微调 VLM，且只需适度的计算预算。
• Plug‑and‑play upgrade: 使用 CLIP/SigLIP 编码器的现有 VLM 流程可以直接替换为 Penguin‑Encoder，以获得更好的空间保真度和推理能力，而无需重新设计架构。
• Accelerated R&D: 更快的收敛意味着构建多模态助手、文档自动化工具或视频分析服务的产品团队可以更快进行迭代。

限制与未来工作

• 领域泛化: 虽然 Penguin‑Encoder 在评估的基准上表现出色，但其在高度专业化的视觉领域（例如卫星影像）的性能尚未经过测试。
• 时间建模深度: 当前设计将视频帧视为独立的补丁；更深层的时间注意力机制可能进一步提升视频理解。
• 可扩展性上限: 论文聚焦于 2 B–8 B 模型；尚不清楚基于 LLM 的视觉初始化在 100 B+ 规模下是否仍然优于对比预训练。
• 分词器设计消融: 不同补丁分词器（例如基于 CNN 与纯线性投影）的影响需要系统性研究。

Penguin‑VL 为实现高性能、计算高效的视觉语言模型开辟了有前景的道路，使多模态 AI 更加易于开发者在真实世界应用中的构建。

作者

• Boqiang Zhang
• Lei Ke
• Ruihan Yang
• Qi Gao
• Tianyuan Qu
• Rossell Chen
• Dong Yu
• Leoweiliang

论文信息

• arXiv ID: 2603.06569v1
• 分类: cs.CV
• 出版日期: 2026年3月6日
• PDF: 下载 PDF