[Paper] 共享 LoRA 子空间用于几乎严格的持续学习

Source: arXiv - 2602.06043v1

概览

本文介绍了 Share，一种在不显著增加内存或遗忘已学知识的情况下，对大规模预训练模型（如 CLIP、Stable Diffusion 或大型语言模型）进行连续任务微调的新方法。通过保持一个 单一共享的低秩子空间，并随新任务的到来而演化，Share 实现了 LoRA 的参数效率，同时具备真正的持续学习能力——无需数据重放、无需大量适配器，并且几乎完美地保持性能。

关键贡献

• 共享低秩子空间: 单个、动态更新的 LoRA 风格子空间，存储所有先前任务的知识。
• 严格的持续学习: 消除灾难性遗忘，无需回放缓冲区或任务特定适配器。
• 巨大的资源节省: 与朴素的每任务 LoRA 相比，训练参数减少高达 100×，内存占用降低 281×。
• 跨模态通用性: 在图像分类、NLP、3D 姿态估计和文本到图像生成等任务上展示。
• 可扩展部署: 一个 Share 模型可以取代数百个独立的 LoRA 适配器，实现异步、设备端更新。

方法论

1. 基础模型与 LoRA 入门 – 从一个冻结的大型预训练网络（例如视觉 Transformer）开始。LoRA 在选定的层中注入可训练的低秩矩阵 ΔW = A·Bᵀ，保持原始权重不变。

2. 构建共享子空间

   • 初始化一个 全局低秩基 U ∈ ℝ^{d×r}（r ≪ d）。
   • 对于每个新任务 t，计算任务特定的投影 ΔWₜ = U·Cₜ，其中 Cₜ 是一个小的任务特定系数矩阵（r×r）。

3. 动态子空间更新

   • 在任务 t 训练结束后，评估对性能提升贡献最大的梯度方向。
   • 使用 子空间扩展步骤（例如 QR 分解 + 低秩截断）扩展或旋转 U，以吸收这些方向。
   • 旧任务继续使用更新后的 U，因此它们的知识会自动合并到共享表示中。

4. 训练循环

   • 冻结主干网络，仅为当前任务训练 Cₜ，而 U 保持固定。
   • 定期运行子空间更新例程，将新学习到的方向整合进来。

5. 推理

   • 在测试时，模型直接使用最新的 U（无需每个任务的适配器）。

整个流水线只需为每个任务额外保存少量矩阵（Cₜ 系数），以及一个随时间适度增长的全局基。

结果与发现

• 性能差距： Share 与联合训练模型的差距保持在 0.5 % 以内，远好于朴素微调——后者在少数任务后会出现 >5 % 的下降。
• 前向迁移： 后续任务往往从更好的初始化开始，因为共享子空间已经编码了早期领域的有用特征。
• 消融实验： 移除子空间扩展步骤会导致快速遗忘，验证了其在保持过去知识中的作用。

实际意义

• 一次部署，随处更新： 公司可以将单一的大模型部署到边缘设备上，随后推送体积极小的 Cₜ 更新（几 KB）以实现新功能，而无需重新刷写整个模型。
• 成本高效的 MLOps： 训练预算大幅下降——仅需对低秩系数进行反向传播，从而减少 GPU 时间和存储需求。
• 多租户 SaaS 平台： 服务提供商可以托管一个 Share 模型，为数千个客户提供服务，每个客户拥有自己的任务配置，从而无需维护大量适配器。
• 合规与隐私友好： 由于 Share 不依赖回放缓冲区，它在遵守数据隐私约束的同时，仍能从顺序到来的专有数据集中学习。

限制与未来工作

• 子空间增长控制： 虽然基底保持低秩，但持续扩展最终可能会遇到上限；需要更智能的剪枝或预算子空间分配，以应对非常长的任务序列。
• 任务相似性假设： 当任务共享底层表征时共享效果最佳；高度分歧的任务可能需要多个子空间或层次化的共享方式。
• 理论保证： 论文提供了实证证据，但缺乏关于遗忘或子空间最优性的形式化界限——未来工作可以填补这一空白。
• 实时适应： 当前的更新是批处理方式；将该方法扩展到真正的在线、逐样本更新，将提升其在流式场景中的适用性。

作者

• Prakhar Kaushik
• Ankit Vaidya
• Shravan Chaudhari
• Rama Chellappa
• Alan Yuille

论文信息

• arXiv ID: 2602.06043v1
• 分类: cs.LG, cs.AI, cs.CV
• 发布时间: 2026年2月5日
• PDF: 下载 PDF