[Paper] 线性化 Bregman 迭代用于稀疏脉冲神经网络

Source: arXiv - 2603.16462v1

概述

本文提出了 线性化 Bregman 迭代 (Linearized Bregman Iterations, LBI) 作为一种用于训练 脉冲神经网络 (Spiking Neural Networks, SNNs) 的新优化器。通过将稀疏化正则化项直接嵌入训练循环，作者实现了大约 50 % 的活跃突触数量减少，且在标准神经形态基准测试上并未牺牲分类准确率。

关键贡献

• 为 SNN 引入 LBI： 将线性化 Bregman 迭代（Linearized Bregman Iteration）框架——原本用于凸优化——适配到脉冲神经网络的非凸训练中。
• AdaBreg 优化器： 在 LBI 基础上加入动量和偏置校正（类似 Adam），以提升收敛速度和稳定性。
• 稀疏 SNN 模型： 证明 LBI 能自动剪枝不必要的权重，使模型的活跃参数减少一半，同时保持性能。
• 全面的实证评估： 在三个神经形态数据集（SHD、SSC、PSMNIST）上的实验表明，模型在准确率上与 Adam 训练的基线持平，并在参数效率上更优。
• 开源实现： 作者公开了代码和训练脚本，方便社区复现和采用。

方法论

1. 问题表述： 将 SNN 的训练视为最小化损失函数 加 ℓ₁‑型稀疏项，鼓励大量权重变为严格的零。
2. 线性化 Bregman 迭代：
   • 在每一步，计算损失的梯度（如同标准的时间反向传播）。
   • 对对偶变量进行 近端软阈值 更新，隐式地将小权重推向零。
   • 通过积分对偶变量来更新原始权重向量，得到 线性化 的 Bregman 步骤。
3. AdaBreg： 复制 Adam 的自适应学习率和动量机制，但作用于 Bregman 对偶变量，提供偏置校正和更平滑的收敛。
4. 训练流程： 作者使用代理梯度方法进行基于脉冲的反向传播，将 LBI/AdaBreg 作为优化器，并在整个训练过程中监控 活跃参数比例（非零权重）。

该方法仅需对现有 SNN 训练代码库做少量修改，因而对开发者友好。

结果与发现

• 准确率： 在所有任务中均在 Adam 的 0.5 % 以内，证明稀疏化不会降低性能。
• 稀疏度： 大约一半的突触连接被置零，直接转化为更低的内存占用和更少的脉冲处理操作。
• 收敛性： AdaBreg 在与 Adam 相似的 epoch 数内达到可比的损失值，且由于 Bregman 正则化，损失曲线略显平滑。

这些发现表明，凸稀疏诱导方法可以有效地与本质上非凸的 SNN 训练环境相结合。

实际意义

• 能效推理: 更少的活跃权重意味着每个时间步的乘加（MAC）操作更少，这对低功耗神经形态硬件（例如 Loihi、TrueNorth）至关重要。
• 模型在边缘设备上的部署: 更小的内存占用使得 SNN 能够适配更紧凑的片上 SRAM 预算，为在微控制器上进行实时音频或传感器处理打开了大门。
• 简化网络设计: 开发者可以从密集架构开始，让 LBI 自动剪枝，避免手动稀疏启发式或事后剪枝流程。
• 兼容现有框架: 由于 LBI 实现为优化器插件，可在基于 PyTorch 的 SNN 库（如 BindsNET、Norse）中使用，无需重写网络定义。

总体而言，该技术提供了一个 即插即用的 Adam 替代方案，能够生成更精简、硬件友好的 SNN，同时保持模型的预测能力。

限制与未来工作

• 对超大规模 SNN 的可扩展性: 实验仅限于中等规模基准；尚需观察 LBI 在拥有数百万神经元/突触的网络上的表现。
• 硬件特定验证: 论文报告了理论稀疏性收益；在神经形态芯片上的实际能耗节省需要实证测量。
• 向其他正则化器的扩展: 当前的 ℓ₁ 形式产生无结构稀疏；探索结构化（例如通道级）稀疏可能进一步提升硬件映射效果。
• 混合训练方案: 将 LBI 与其他压缩技术（量化、低秩分解）结合是实现更高效率的潜在方向。

作者指出，未来研究将解决这些问题，并探讨 LBI 在强化学习风格的脉冲神经网络代理中的适用性。

作者

• Daniel Windhager
• Bernhard A. Moser
• Michael Lunglmayr

论文信息

• arXiv ID: 2603.16462v1
• 分类: eess.SP, cs.NE
• 发布时间: 2026年3月17日
• PDF: 下载 PDF