[Paper] 大语言模型时代的模型合并：方法、应用与未来方向

Source: arXiv - 2603.09938v1

概述

模型合并让您能够将多个微调的大型语言模型（LLM）融合为一个可直接运行的模型——无需完整重新训练的成本，也不产生集成模型的延迟。Song 和 Zheng 的这篇综述提出了 FUSE 分类法（Foundations、Unification Strategies、Scenarios、Ecosystem），并绘制了快速发展的研究全景，为希望在预算有限的情况下组合专用 LLM 能力的开发者提供了实用路线图。

关键贡献

• FUSE 分类法 – 一个四维框架，用于组织模型合并的理论、算法、用例和工具。
• 理论基础 – 对损失曲面几何、模式连通性以及线性模式连通性（LMC）假设进行清晰阐述，解释为何简单的权重平均能够奏效。
• 全面的算法调研 – 包括权重平均、任务向量算术、稀疏化增强合并、专家混合（MoE）混合体以及进化优化方法。
• 应用矩阵 – 将每种合并策略映射到具体的下游任务，如多任务学习、安全对齐、领域特定适配、多语言迁移和联邦学习。
• 生态系统概览 – 列举开源库（例如 mergekit、lm‑merge、Hugging Face adapters）、社区基准以及最佳实践指南。
• 未来方向清单 – 突出开放的研究空白（理论、可扩展性、标准化），为学术界和产业界指明方向。

方法论

作者采用 survey‑by‑taxonomy（分类调查）的方法：

1. Foundations – 回顾神经网络损失曲面的几何结构，展示微调模型通常位于 connected basins（连通盆地）中，在这些区域进行线性插值不会显著增加损失。
2. Unification Strategies – 将每种合并算法拆解为一个 core formulation（核心公式），例如权重的简单算术平均，或向基模型添加 “task vector”；以及一个 practical augmentation（实际增强），如稀疏掩码、MoE 路由或进化搜索。
3. Scenarios – 将这些策略映射到真实部署场景，讨论计算预算、延迟或隐私等约束。
4. Ecosystem – 评估现有工具、基准套件和社区资源，依据易用性、可扩展性和可复现性进行评分。

该综述基于系统文献回顾（检索 arXiv、ACL、NeurIPS 以及主要会议论文，时间截至 2024 年初）并对代表性方法在开放的大语言模型检查点（如 LLaMA‑7B、Mistral‑7B）进行实操验证。

结果与发现

* 增益相对于相同实验设置下最强的单一微调模型。

总体而言，调查发现，当模型模式相连时，简单平均是一个出乎意料的强基线，而更复杂的策略（稀疏化、MoE、进化搜索）在分歧的检查点上可释放更大的提升。

Practical Implications

• 快速原型 – 开发者可以通过在几分钟内合并少量领域特定的适配器（例如法律、代码、医学），快速创建“超级模型”，避免昂贵的微调流程。
• 成本效益的扩展 – 模型合并减少了对大型集成模型的需求，将推理延迟和 GPU 内存降低最高可达 70 %，同时保持多任务能力。
• 联邦与隐私保护 AI – 在原始数据无法共享的场景中，每个参与方可以训练本地 LLM，然后合并得到的权重，实现无需数据迁移的集体知识。
• 安全与对齐 – 通过将基础模型与专用对齐检查点合并，团队可以在不重新训练整个模型的情况下强制执行政策合规。
• 工具集成 – 如 mergekit 等库提供 CLI，可直接接入 Hugging Face 流程，使合并只需在现有 CI/CD 工作流中添加一行命令。
• 产品路线图 – 构建“AI‑as‑a‑service”平台的公司可以提供“能力捆绑”（例如“金融 + 摘要”）预合并模型，简化授权和部署。

限制与未来工作

• 理论空白 – 虽然模式连通性解释了许多成功案例，但仍缺乏一个统一的理论来预测何时合并会失败（例如，在截然不同的架构之间）。
• 可扩展性 – 进化式和基于 MoE 的合并仍需对大型语言模型进行多次前向传播，这对 >30 B 参数的模型来说可能难以承受。
• 标准化 – 对合并模型的评估基准尚未形成共识；社区依赖临时任务套件，导致可复现性困难。
• 安全性问题 – 合并可能无意中将各模型的不良行为组合在一起；系统化审计工具仍处于早期阶段。
• 未来方向包括：
  1. 开发梯度感知的合并方法，以兼顾下游损失曲面。
  2. 构建基准套件（例如 “MergeBench”）以实现公平比较。
  3. 探索持续合并流水线，在新的微调检查点出现时更新统一模型。

作者

• Mingyang Song
• Mao Zheng

论文信息

• arXiv ID: 2603.09938v1
• 类别: cs.CL
• 出版时间: 2026年3月10日
• PDF: 下载 PDF