[Paper] 基于睡眠的稳态正则化用于稳定循环脉冲神经网络中的 Spike-Timing-Dependent Plasticity

Source: arXiv - 2601.08447v1

概述

本文提出了一种 sleep‑inspired regularization，用于通过 spike‑timing‑dependent plasticity (STDP) 学习的循环脉冲神经网络（SNN）。通过交替出现的短暂“离线”时期——类似于生物睡眠——在此期间突触权重衰减至稳态基线，作者展示了灾难性权重爆炸和遗忘可以显著降低，从而在经典的 MNIST‑style 任务上实现更稳定的学习。

关键贡献

• Homeostatic sleep phase: 一种神经形态正则化器，在离线期间模拟突触下调，表现为向目标权重分布的随机衰减。
• Empirical validation: 表明相当于总训练时间 10‑20 % 的睡眠时间能够在多个基于 MNIST 的基准上稳定 STDP‑驱动的递归 SNN，而无需任何特定任务的超参数调优。
• Contrast with gradient‑based SNNs: 显示相同的睡眠协议 不 能提升 surrogate‑gradient SNN（SG‑SNN），突显局部 Hebbian 学习与全局梯度下降之间的根本差异。
• Biologically plausible memory consolidation: 在睡眠阶段利用自发活动重放并强化已学习的模式，呼应大脑记忆重放的理论。

方法论

1. 基础模型： 使用经典基于配对的 STDP 训练的递归脉冲神经网络（SNN）。神经元发出二进制脉冲；突触根据前突触和后突触脉冲的相对时序进行更新。
2. 睡眠‑觉醒循环：
   • 觉醒： 来自训练数据集的正常前馈输入，STDP 更新持续进行。
   • 睡眠： 外部输入被静音。突触权重乘以衰减因子 β ∈ (0,1)，并在一个小的随机项的作用下向预设的稳态均值 μ 推进。
   • 自发活动： 注入随机泊松脉冲以产生内部动力学，使网络在衰减进行时能够“重放”模式并巩固记忆。
3. 训练计划： 作者将睡眠时长作为总训练步数的比例进行扫描（0 % → 30 %），并经验性地确定最佳范围（≈10‑20 %）。
4. 基线比较： 与以下两种情况进行对比：(i) 同一网络在没有睡眠的情况下；(ii) 使用时间反向传播（BPTT）进行训练的代理梯度 SNN。

结果与发现

• 稳定性： 睡眠阶段使权重分布保持在稳态基线附近，防止失控的增强/抑制。
• 性能提升： 对于 STDP‑SNN，相比无睡眠基线有约 2–3 % 的适度且持续的准确率提升。
• 对 SG‑SNN 无影响： 基于梯度的训练已经包含正则化机制（例如权重衰减），因此额外的睡眠阶段并未进一步提升性能。

实际意义

• 类脑硬件： 实现一种低开销的“睡眠”例程（例如，在短暂的时间内关闭输入并运行一个简单的衰减核），可以显著提升芯片上 STDP 学习的可靠性，延长器件寿命并减少对手动调节权重裁剪的需求。
• 边缘 AI 与低功耗设备： 对于依赖本地无监督适应的电池受限传感器来说，安排一个睡眠间隔（或许与实际的省电睡眠模式对齐）提供了一种受生物启发的方式，防止模型发散。
• 混合学习系统： STDP 友好与梯度友好正则化之间的明确区分表明，设计者应 对每一层选择一种范式——或开发新的接口，将稳态衰减转化为梯度兼容的形式。
• 持续学习： 基于睡眠的巩固类似于持续学习研究中使用的重放机制，暗示一种轻量级的替代方案，可用于 SNN 的显式记忆缓冲区。

限制与未来工作

• 基准范围： 实验仅限于 MNIST 风格的图像分类；更复杂的时序任务（例如语音或基于事件的视觉）仍未测试。
• 睡眠调度启发式： 最佳睡眠比例是通过经验确定的；能够根据权重统计信息自适应调整的调度可能更为稳健。
• 硬件验证： 本研究仅为仿真；实际的神经形态芯片可能会出现额外约束（例如量化噪声），从而影响衰减动力学。
• 与梯度的集成： 虽然睡眠阶段对 SG‑SNNs 有害，但作者提出探索 联合正则化器，将稳态衰减与基于梯度的优化器相结合，这对混合学习架构是一个有前景的方向。

作者

• Andreas Massey
• Aliaksandr Hubin
• Stefano Nichele
• Solve Sæbø

论文信息

• arXiv ID: 2601.08447v1
• 分类: cs.NE, stat.ML
• 出版日期: 2026年1月13日
• PDF: 下载 PDF