[Paper] 引入突触尺度化对脉冲神经网络学习的影响

Source: arXiv - 2601.11261v1

概述

本文研究了在脉冲神经网络（SNN）中加入突触尺度调节——一种受生物启发的稳态机制——如何影响其学习视觉模式的能力。通过在赢家通吃（WTA）架构中将突触时序依赖可塑性（STDP）与不同的尺度调节规则相结合，作者展示了基于 L2 范数的尺度调节方案能够显著提升在 MNIST 和 Fashion‑MNIST 上的分类准确率，即使只进行单个训练周期。

关键贡献

• Hybrid plasticity framework: 将 STDP 与三种突触缩放（L1‑norm、L2‑norm、max‑norm）集成到 WTA SNN 中。
• Systematic ablation study: 探讨了神经元数量、STDP 时间常数和缩放方法对性能的影响。
• Empirical benchmark: 在仅使用 400 个兴奋性 + 400 个抑制性神经元并进行一次训练 epoch 的情况下，分别在 MNIST 上取得 88.84 % 的准确率和在 Fashion‑MNIST 上取得 68.01 % 的准确率。
• Open‑source implementation: 提供了可复现实验的 Python 代码库，便于可重复性研究和后续工作。

方法论

1. 网络架构 – 一个两层WTA电路：

   • 兴奋层（E）接收通过泊松发放编码的像素脉冲。
   • 抑制层（I）实现侧向竞争，使得在给定输入时只有一部分兴奋神经元会发放。

2. 学习规则 –

   • STDP 根据前后脉冲的相对时序更新每个突触，受时间常数 τ_STDP 控制。
   • 突触缩放 定期重新归一化神经元的所有输入权重，以保持整体突触强度在界限内。测试了三种缩放策略：
     • L1范数缩放（绝对权重之和 = 1）
     • L2范数缩放（欧氏范数 = 1）– 表现最佳
     • 最大范数缩放（最大权重 = 1）

3. 训练协议 –

   • 将 MNIST/Fashion‑MNIST 的输入图像转换为脉冲列（率编码）。
   • 网络在固定的仿真窗口内处理每个样本；STDP 和缩放在线应用。
   • 一个 epoch 结束后，兴奋神经元的发放模式被用作特征向量，输入到简单的线性分类器（softmax），以计算最终准确率。

4. 实验变量 – 每层的神经元数量（200–600），τ_STDP（10–30 ms），以及缩放方法。

结果与发现

• L2‑norm 缩放始终优于 L1 和 max‑norm，表明保持权重向量的欧氏长度更有利于维持兴奋与抑制之间的平衡。
• 将神经元数量提升至 400 以上的收益递减，说明 WTA 竞争已经能够提取出紧凑且具判别性的编码。
• 较短的 STDP 时间常数（更精确的时序）略微提升了 MNIST 的表现，但对 Fashion‑MNIST 有负面影响，凸显了不同数据集对最佳时间窗口的依赖性。

实际意义

• 能效 AI 在类脑硬件上: 具有稳态缩放的脉冲神经网络（SNN）在单次前向传播后即可达到相当的准确率，使其在训练资源匮乏的低功耗边缘设备上具有吸引力。
• 在线、持续学习: 由于缩放是持续应用的，网络能够适应非平稳的数据流而不会出现灾难性遗忘——这对机器人和物联网传感器是关键需求。
• 简化训练流程: 开发者可以用生物学上合理的规则取代昂贵的反向传播，降低对大型 GPU 集群的需求，同时在经典视觉基准上仍能获得竞争性结果。
• 为类脑芯片设计者提供指导: L2 范数缩放规则计算成本低（仅需向量范数和除法），可直接在模拟/数字突触电路中实现，为未来芯片架构提供参考。

限制与未来工作

• One‑epoch training: 虽然单遍训练表现令人印象深刻，但报告的准确率仍落后于最先进的深度卷积神经网络；扩展为多遍或混合训练可能缩小差距。
• Dataset scope: 仅评估了两个相对较小的灰度数据集；在更大、彩色或视频数据上的性能仍未知。
• Scaling frequency: 研究在固定间隔进行缩放；基于网络活动的自适应调度可能进一步提升稳定性。
• Hardware validation: 实验在软件仿真中进行；需要在神经形态平台（如 Loihi、SpiNNaker）上进行真实部署，以确认能耗和延迟优势。

作者

• Shinnosuke Touda
• Hirotsugu Okuno

论文信息

• arXiv ID: 2601.11261v1
• Categories: cs.NE, cs.LG
• 出版日期: 2026年1月16日
• PDF: 下载 PDF