[Paper] PPSEBM：一种具备渐进参数选择的能量模型用于持续学习

发布: 1天前 (2025年12月18日 GMT+8 02:11)

7 min read

原文: arXiv

Source: arXiv - 2512.15658v1

概览

本文提出了 PPSEBM，这是一种将能量模型（EBM）与 渐进参数选择（PPS）策略相结合的全新持续学习框架。通过为每个新到来的 NLP 任务分配全新的任务特定参数，并利用 EBM 合成先前任务的真实伪样本，PPSEBM 能显著降低灾难性遗忘，同时仍能快速适应新数据。

Hybrid Architecture：引入了 EBMs（用于生成式回放）与 PPS（用于选择性参数增长）的无缝集成。
Task‑Specific Parameter Allocation：动态扩展模型容量，为每个任务分配专用子网络，避免覆盖已有知识。
Active Pseudo‑Sample Generation：EBM 学会生成过去任务的高保真表示，这些表示被反馈给 PPS，以指导其保持先前性能的稳定。
State‑of‑the‑Art Benchmarks：在多个 NLP 数据集（GLUE‑style 分类、情感分析和问答）上，展示了相较于主流持续学习基线（如 EWC、GEM、Replay）的持续提升。
Scalable Design：表明参数增长保持适度（≈10‑15 % 每个新任务），且 EBMs 可与主任务网络联合训练，使整体训练时间保持竞争力。

Base Model – 采用 transformer‑style 编码器（例如 BERT）作为所有任务的骨干网络。
Progressive Parameter Selection (PPS)
- 当新任务到来时，一个小型控制网络决定复用哪些已有神经元以及实例化哪些新神经元。
- 这种选择是“渐进式”的：早期任务保持其已分配的参数不变，而新任务获得复用和全新参数的混合，从而保留过去的表征。
Energy‑Based Model (EBM) Replay
- 为每个已完成任务的潜在表征训练一个辅助的 EBM。
- 在训练新任务时，EBM 采样伪表征，模拟早期任务的数据分布。
- 将这些伪样本输入 PPS 控制器，作为正则化手段，促使控制器为过去任务保留足够的容量。
Joint Optimization
- 将主任务损失（例如交叉熵）与 EBM 的对比损失一起优化。
- 轻量的 KL‑regularizer 对先前分配的子网络参数漂移进行惩罚。

整体流程易于嵌入现有 NLP 流程：在 transformer 之上添加 PPS 模块，并在隐藏状态上训练 EBM。

数据集	任务数	平均准确率 (PPSEBM)	最佳基线	Δ
AGNews (4 tasks)	4	92.3 %	88.7 % (GEM)	+3.6 %
SST‑2 → MRPC → QQP → RTE	4	84.1 %	80.2 % (EWC)	+3.9 %
Continual QA (TriviaQA → SQuAD)	2	78.5 %	73.4 % (Replay)	+5.1 %

这些数据表明，PPSEBM 不仅能够保持先前知识，还能在任务累积时高效扩展。

总体而言，PPSEBM 提供了一套实用方案，用于构建持续学习的 NLP 系统，使其在演进过程中保持可靠。