[Paper] 同步门控可塑性与多巴胺调制用于脉冲神经网络

发布: 1周前 (2025年12月8日 GMT+8 14:10)

8 min read

原文: arXiv

Source: arXiv - 2512.07194v1

概览

本文提出了一种用于深度脉冲神经网络（SNN）的新学习规则，该规则将受生物启发的多巴胺调制可塑性与基于同步性的信号相结合。通过将原始脉冲时序转化为紧凑的“同步性”度量，作者能够注入一个感知任务损失的局部学习信号，在不重新设计网络或优化器的情况下，实现了在多个视觉基准上适度但一致的准确率提升。

DA‑SSDP 规则 – 一种多巴胺调制的脉冲同步依赖可塑性机制，根据同步性与损失的相关性来门控局部权重更新。
批级同步性度量 – 将高分辨率的脉冲时间日志压缩为二进制脉冲标记和首次脉冲潜伏期，显著降低内存开销。
热身门控阶段 – 一个短暂的初始训练窗口，自动判断同步性对任务是否有信息价值；若无，则门控默认设为 1，将规则转化为轻量正则化器。
无缝集成 – DA‑SSDP 可直接叠加在任何代理梯度反向传播管线之上；它只在标准梯度步骤之后作用于更深层。
实验收益 – 在 CIFAR‑10 (+0.42 %)、CIFAR‑100 (+0.99 %)、CIFAR10‑DVS (+0.1 %) 和 ImageNet‑1K (+0.73 %) 上实现了持续的准确率提升，且计算开销仅略有增加。
开源实现 – 代码已在 https://github.com/NeuroSyd/DA-SSDP 发布。

脉冲表示 – 对于每个神经元，作者在每个批次中存储两条信息：
- 一个二进制指示器（该神经元是否至少发放过一次？）
- 第一次脉冲的潜伏期，经过高斯核处理。
  这种做法避免了保存完整的脉冲时间轨迹，使内存使用降低了数量级。
同步性度量 – 在一个批次内，统计神经元之间脉冲的成对共现次数，并求和得到一个标量“同步性”值，反映有多少神经元同时放电。
多巴胺调制门 – 在短暂的热身阶段（例如前几轮）测量同步性与任务损失之间的相关性。门控 (g) 被设为该相关性的符号（若相关性接近零则设为 1）。
局部权重更新 – 在常规的代理梯度反向传播步骤之后，对更深层进行第二次更新：

[ \Delta w \propto g \times \text{(pre‑spike)} \times \text{(post‑spike)} \times \exp!\big(-\frac{(\text{latency})^2}{2\sigma^2}\big) ]

当 (g=1) 时，上式简化为一个仅由前后脉冲共现加上潜伏期加权的两因子规则，充当正则化器。
训练管线 – 该方法可直接嵌入已有的 SNN 训练代码库，无需修改损失函数、优化器或网络结构。

数据集	基线（代理梯度）	+DA‑SSDP	Δ 准确率
CIFAR‑10	92.1 %	92.52 %	+0.42 %
CIFAR‑100	71.3 %	72.29 %	+0.99 %
CIFAR10‑DVS	73.5 %	73.6 %	+0.1 %
ImageNet‑1K	71.8 %	72.53 %	+0.73 %

提升幅度有限 – 虽然改进在多数基准上保持一致，但提升幅度相对较小（多数在 1 % 以下）。在对每个百分点都极其关键的应用场景中，额外计算可能不具性价比。
热身阶段敏感性 – 初始门控阶段依赖于短期相关性估计；若训练后期损失曲面发生剧烈变化，门控可能变得次优。
评估范围 – 实验主要聚焦于图像分类，尚未验证 DA‑SSDP 在事件驱动强化学习、语音或机器人控制等其他 SNN 任务上的表现。
硬件加速 – 虽然内存友好，但同步性计算和批级门控尚未映射到现有神经形态硬件原语；未来工作可探索 ASIC/FPGA 实现。

总体而言，DA‑SSDP 提供了一种实用的、生物启发的微调手段，可在当前 SNN 训练管线中轻松加入，以获得适度的准确率提升且工程成本极低。