[Paper] 空间脉冲神经网络实现高效且鲁棒的时序计算

发布: 1个月前 (2025年12月11日 GMT+8 03:01)

8 min read

原文: arXiv

Source: arXiv - 2512.10011v1

概览

本文提出 空间脉冲神经网络（SpSNNs），一种通过将神经元嵌入物理空间来处理脉冲神经网络中突触延迟的新方法。网络不再为每条连接学习单独的延迟，而是学习每个神经元的坐标，延迟自动由它们之间的欧氏距离产生。这大幅减少了可训练参数的数量，同时保持（甚至提升）了时间处理性能。

神经元坐标学习 – 为每个神经元 (i) 分配一个可学习向量 (\mathbf{p}_i \in \mathbb{R}^d)（通常 (d=2) 或 (3)）。
延迟提取 – 神经元 (i) 与神经元 (j) 之间的突触延迟计算为
[ \tau_{ij} = \alpha , |\mathbf{p}_i - \mathbf{p}_j|_2, ]
其中 (\alpha) 为将距离转换为时间步的缩放因子。
训练循环 – 网络使用时间反向传播（BPTT）端到端训练。自定义 autograd 规则将梯度传播通过基于距离的延迟函数，使坐标能够与常规权重参数一起更新。
稀疏度调度 – 在训练期间逐步施加稀疏掩码，零化幅值最小的权重。掩码定期更新，使网络能够适应连接数的减少。
基准测试 – 实验在两个时间分类任务上进行：
- Yin‑Yang（合成时空模式分类）。
- Spiking Heidelberg Digits (SHD)（类语音脉冲序列）。

所有实验均将 SpSNN 与学习每条突触独立延迟的基线 SNN 进行比较。

指标	基线 SNN（无约束延迟）	SpSNN（2‑D）	SpSNN（3‑D）
参数数量	~1.2 M	~70 k（≈ 18× 更少）	~90 k
Yin‑Yang 准确率	96.3 %	98.1 %	97.9 %
SHD 准确率	84.2 %	86.5 %	86.2 %
稀疏容忍度	剪枝 > 70 % 时性能下降	在 90 % 剪枝下保持准确率	同上

类脑硬件对齐 – 由于延迟现在是物理距离的函数，芯片可以直接将神经元坐标映射到其布局上，省去每条突触延迟的存储与查找，从而显著降低内存带宽和能耗。
可扩展的边缘 AI – 开发低功耗传感器（如基于事件的摄像头、音频脉冲）时，可部署内存占用极小的 SpSNN，实现微控制器或 ASIC 上的实时时序推理。
模型部署简化 – 每个神经元只需保存一组坐标，远比数百万的延迟参数更易序列化和版本管理，简化 CI/CD 流程。
可迁移的空间先验 – 学到的几何布局可以可视化，并有可能在不同任务间复用（例如，在语音上学到的“空间嵌入”可用于手势识别的初始化）。
兼容现有框架 – 作者提供的自定义 autograd 规则可直接插入类 PyTorch 环境，开发者无需重写底层仿真代码即可进行实验。

结论：空间脉冲神经网络将“延迟”问题转化为几何问题，显著削减参数量、提升精度，并为更节能的类脑系统铺平道路。对于追求实时、低功耗时序 AI 的开发者而言，SpSNN 提供了一个兼顾硬件感知的有力替代方案。