回收 LoRAs 与自适应合并的吸引力与现实

Source: Hacker News

摘要

针对开放预训练模型的大量可用的微调 LoRA 模块，引发了对能够自适应合并 LoRA 以提升性能的方法的兴趣。这些方法通常包括从池中选择 LoRA 并基于特定任务数据集调节合并系数的机制。

虽然自适应合并方法在某些场景下已展示出改进，但过去的工作并未尝试回收在 Hugging Face Hub 等模型仓库中“野生”出现的 LoRA。为填补这一空白，我们考虑从近 1,000 个用户贡献的、基于 Llama 3.1 8B‑Instruct 语言模型训练的 LoRA 池中进行回收。

我们的实证研究涵盖了一系列自适应和非自适应的合并方法，并提出了一种通过对方法设计空间进行广泛搜索而设计的新方法。实验表明，自适应合并方法能够相较基线模型提升性能，但相较于在用于设定合并系数的相同数据上训练全新 LoRA，收益有限。

我们进一步发现，具体选择哪些 LoRA 进行合并并不重要，使用参数随机初始化的 LoRA 也能得到相似的性能。这提示，回收 LoRA 的自适应合并主要可能通过某种正则化效应起作用，而非通过实现正向跨任务迁移。

为了更好地理解过去工作成功的原因，我们验证了当池中存在高度相关的 LoRA 时，正向迁移确实是可能的。我们已在线发布模型检查点和代码。