[Paper] 即插即用 Homeostatic Spark：零成本加速跨范式 SNN 训练

Source: arXiv - 2512.05015v1

Overview

训练脉冲神经网络（SNN）长期受到收敛缓慢和优化脆弱的困扰，尽管 SNN 承诺实现事件驱动、低功耗的推理。本文提出 Adaptive Homeostatic Spiking Activity Regulation (AHSAR) —— 一个即插即用的“零成本”模块，能够将每一层的放电活动维持在健康范围内，在不修改网络结构、损失函数或梯度计算的前提下显著加速训练。

Key Contributions

• AHSAR 层级稳态调节： 一种轻量、无参数的机制，根据实时的发放率偏差重新缩放神经元阈值。
• 跨层扩散： 有界平滑操作，防止单层成为瓶颈或出现活动爆炸。
• 全局 epoch 级增益： 自适应标量，将验证进度与整体活动能量相结合，自动将网络引导至最佳工作点。
• 训练范式无关： 同时适用于代理梯度反向传播、ANN‑to‑SNN 转换以及生物启发的学习规则。
• 广泛的实证验证： 在多种 SNN 深度、宽度、时间步设置以及数据集（包括帧式 RGB 与事件式 DVS）上均表现出一致的加速和精度提升。
• 零额外参数且计算开销可忽略： 该方法几乎不增加运行时开销，适合设备端训练或快速原型开发。

Methodology

1. 前向传播监测 – 对每一层，AHSAR 记录平均放电率（每时间步的脉冲数）。
2. 中心偏差 → 阈值缩放 – 将偏离目标放电率带的偏差通过有界非线性函数（如 tanh）映射为神经元阈值的乘法因子。提升阈值抑制过多脉冲，降低阈值则在层活动过低时鼓励放电。
3. 跨层扩散 – 使用轻量扩散核在相邻层之间平滑每层的缩放因子，防止网络出现尖锐的活动悬崖。
4. 全局增益更新 – 在每个 epoch 结束时，缓慢调整全局增益（例如通过指数移动平均），依据两条信号：(a) 验证损失的改进和 (b) 总的“活动能量”（放电率平方和）。该增益统一缩放所有层的阈值，使整个网络趋向平衡的放电状态。
5. 无可训练权重 – 所有操作都是确定且可微的，标准梯度流保持不变。唯一的“学习”发生在通过解析更新的稳态状态变量中。

Results & Findings

*OOD = out‑of‑distribution（分布外）。

Key takeaways

• 一致的收敛加速，适用于所有训练范式（代理梯度、转换、类 STDP 规则）。
• 更高的最终精度，即使在相同训练 epoch 数下，也表明优化空间更佳。
• 提升的鲁棒性 对分布偏移更具抵抗力，可能是因为网络从未过度专注于狭窄的放电率区间。

Practical Implications

• 更快的原型开发： 开发者可以在更短时间内训练更深的 SNN，提升迭代设计的可行性。
• 能耗感知的训练： 由于 AHSAR 几乎不增加计算，整体训练能耗保持低位——这对边缘设备学习场景至关重要。
• 即插即用的库集成： 该方法可封装为轻量的 PyTorch/TensorFlow 模块，自动挂接到任何现有 SNN 代码库，仅需几行配置。
• 更佳的硬件映射： 维持适度的放电率可降低脉冲流量，从而减轻神经形态芯片（如 Loihi、Intel Neuromorphic Platform）的带宽和内存压力。
• 稳健的部署： 观察到的 OOD 增益表明，使用 AHSAR 训练的模型在传感器噪声、光照变化或领域漂移等情况下更具容忍度——这在机器人和物联网应用中尤为常见。

Limitations & Future Work

• 目标带选择： 当前实现使用固定的目标放电率带；针对不同任务或数据集自适应调整该带可能带来进一步收益。
• 理论分析： 虽然实证结果强劲，但仍缺乏形式化的收敛证明或信息论层面的解释。
• 对超大规模 SNN 的可扩展性： 实验止步于约 10 M 突触；在更大规模网络（如脑尺度仿真）上的表现仍待验证。
• 与量化的集成： 未来工作可探索 AHSAR 与权重/阈值量化的交互，这在神经形态 ASIC 中是常见需求。

结论： AHSAR 提供了一个 零成本、通用兼容的加速 手段，能够将长期困扰 SNN 训练的收敛难题转化为可管理的工程细节。对于希望在不牺牲训练速度或鲁棒性的前提下利用脉冲网络低功耗优势的开发者而言，这一即插即用的稳态调节器是 SNN 工具箱中极具吸引力的补充。

Authors

• Rui Chen
• Xingyu Chen
• Yaoqing Hu
• Shihan Kong
• Zhiheng Wu
• Junzhi Yu

Paper Information

• arXiv ID: 2512.05015v1
• Categories: cs.NE
• Published: December 4, 2025
• PDF: Download PDF