[Paper] 通用自预测增强用于脉冲神经元

Source: arXiv - 2601.21823v1

Overview

本文介绍了 General Self‑Prediction Enhancement (GSPE) ——一种即插即用的改进方式，用于脉冲神经元，使每个神经元拥有一个来源于其近期输入‑输出活动的内部“预测电流”。通过让神经元预测自己的放电，GSPE 构建了一条平滑的梯度路径，既简化了训练，又保持了已知的皮层机制，如远端树突调制和误差驱动的可塑性。其结果是一种简单、受生物启发的升级，能够在多种架构和任务中一致提升脉冲神经网络（Spiking Neural Networks, SNNs）的准确性和稳定性。

关键贡献

• Self‑prediction current：一种由神经元近期脉冲历史生成的全新内部信号，用于调节其膜电位。
• Continuous gradient flow：预测电流提供了一条可微分的路径，缓解了传统 SNN 训练中常见的梯度消失问题。
• Biological plausibility：该机制类似于远端树突输入和皮层回路中观察到的预测编码，弥合了工程性能与神经科学真实性之间的差距。
• Architecture‑agnostic：GSPE 可附加到任何脉冲神经元模型（如 LIF、IF、适应性神经元），并适用于前馈、递归和卷积 SNN。
• Broad empirical validation：在图像分类（CIFAR‑10/100、ImageNet）、神经形态事件数据集（DVS‑Gesture）以及强化学习基准上的实验，均展示了在几乎不增加计算量的情况下实现一致的精度提升。

方法论

1. 预测模块

   • 对于每个神经元，一个轻量级递归滤波器（例如指数移动平均）处理过去 k 个输入脉冲以及该神经元自身的输出脉冲。
   • 滤波器输出一个标量 预测电流 (p_t)，该电流在常规阈值检查之前被加到膜电位上。

2. 膜电位更新方程

[ V_{t+1} = \alpha V_t + I_t + \beta p_t - V_{\text{th}} \cdot s_t ]

其中 (I_t) 为外部突触输入，(\alpha) 为衰减因子，(\beta) 为缩放超参数，(s_t) 为时间 t 发放的脉冲。

3. 训练流程

   • 保持标准的代理梯度反向传播，但 (p_t) 的存在为过去的脉冲提供了 连续导数，降低了梯度稀疏性。
   • 不需要额外的损失项；网络会自动学习利用预测信号。

4. 实现细节

   • 预测滤波器每个神经元只增加少量算术运算（≈1–2 FLOPs）和一个小的状态向量（滤波器的隐藏状态）。
   • 该方法兼容现有的 SNN 框架（如 BindsNET、Norse、SpikingJelly），并可通过单个标志位打开或关闭。

结果与发现

• 训练稳定性：损失曲线收敛速度提升 20‑30 %，随机种子之间的方差显著下降。
• 能耗影响：由于预测电流在本地计算且几乎不增加算术运算，整体基于脉冲的能耗预算基本保持不变。
• 兼容性：在将 LIF 替换为自适应 LIF、使用脉冲变压器，或将时间步数降低至仅 2 步时，性能提升仍然存在。

实际意义

• 更容易采用 SNN: 开发者现在可以在不与梯度爆炸/消失搏斗的情况下训练更深或更复杂的 SNN，降低了在边缘设备上使用事件驱动 AI 的门槛。
• 硬件友好性: 额外的状态是每个神经元的单个标量，这可以干净地映射到已有每神经元寄存器支持的类脑芯片（例如 Intel Loihi、IBM TrueNorth）。
• 在低延迟下提升推理准确率: 由于 GSPE 即使在极少的时间步下也能工作，需要亚毫秒反应时间的系统（自主无人机、触觉机器人）可以在不牺牲速度的前提下获得更高的分类性能。
• 生物学上合理的 AI: 通过将 SNN 训练与预测编码对齐，该方法为混合模型打开了道路，这类模型结合了深度学习的性能和神经科学的可解释性——对脑机接口和认知建模有用。

限制与未来工作

• 超参数敏感性：缩放因子 (\beta) 和滤波窗口 k 需要对每个新架构进行适度调优；自动化搜索可以简化此过程。
• 在超低功耗芯片上的内存开销：虽然开销极小，但为每个神经元存储额外状态在极度受限的硅片上可能并非微不足道，因为每一位都很关键。
• 理论分析：本文提供了梯度平滑的实证证据，但收敛性或最优性的形式化证明仍有待研究。
• 扩展到无监督/持续学习：未来研究可以探索自预测如何与突触时序依赖可塑性规则在终身学习场景中交互。

底线：GSPE 提供了一种直接、受生物启发的微调，使脉冲神经网络更易训练且更准确，同时保持了使 SNN 在下一代边缘 AI 中具有吸引力的能效。对于希望尝试事件驱动模型或将深度学习工作负载移植到神经形态硬件的开发者来说，加入自预测电流可能正是弥合性能与可 plausibility（可信度）之间缺口的关键所在。

作者

• Zihan Huang
• Zijie Xu
• Yihan Huang
• Shanshan Jia
• Tong Bu
• Yiting Dong
• Wenxuan Liu
• Jianhao Ding
• Zhaofei Yu
• Tiejun Huang

论文信息

• arXiv ID: 2601.21823v1
• 分类: cs.NE
• 发表时间: 2026年1月29日
• PDF: 下载 PDF