[论文] 通过变更感知树突‑胞体‑轴突神经元提升脉冲神经网络的低时延学习性能

Source: arXiv - 2512.16259v1

Overview

本文提出了一种新型脉冲神经元设计——Change‑Perceptive Dendrite‑Soma‑Axon (CP‑DSA) neuron——旨在解决脉冲神经网络（SNN）中长期存在的两个瓶颈：硬复位导致的信息丢失以及忽视树突处理的过于简化的神经元模型。通过加入软复位机制以及聚焦于连续膜电位之间差异的“变化感知”信号，作者实现了显著更低的延迟（更少的时间步），同时保留了 SNN 的能效优势。

关键贡献

• Soft‑reset Dendrite‑Soma‑Axon (DSA) neuron：将经典的泄漏积分‑发放（LIF）模型扩展为可学习的树突、胞体和轴突参数，扩大了神经元的表达能力。
• Change‑Perceptive (CP) mechanism：引入一种轻量级操作，将膜电位的时间变化输入神经元，使得在极短的仿真窗口内也能实现准确推断。
• Theoretical analysis：提供了证明，表明 CP‑DSA 动力学保持信息流，并且新增参数是可辨识的且对学习有益。
• Comprehensive empirical evaluation：在多个视觉和神经形态数据集（如 CIFAR‑10、CIFAR‑100、DVS‑Gesture）上对 CP‑DSA 进行基准测试，显示出相较于之前的 SNN，时间步数减少 2‑4 倍 的最先进准确率。
• Open‑source implementation：作者发布了代码和预训练模型，促进了可复现性并帮助社区快速采用。

方法论

1. Neuron Architecture

   • Dendrite stage：对输入的脉冲应用可学习的线性变换，以模拟突触加权。
   • Soma stage：将树突电流积分为膜电位，但不是在产生脉冲后将电位硬性复位为零，而是使用软复位，即减去阈值，使残余电压得以保留。
   • Axon stage：使用基于代理梯度的脉冲函数生成输出脉冲，从而实现时间反向传播（BPTT）。

2. Change‑Perceptive (CP) Signal

   • 在每个仿真步 t，神经元计算 ΔVₜ = Vₜ – Vₜ₋₁（膜电位的变化）。
   • ΔVₜ 被反馈作为树突阶段的额外输入，实质上向神经元提供“自上一次时刻以来状态变化了多少”的信息。
   • 这个简单的差分操作成本低（一次减法），但显著提升网络检测快速模式的能力，这对低延迟推理至关重要。

3. Training Pipeline

   • 由 CP‑DSA 神经元构建的网络使用代理梯度（例如分段线性代理）进行端到端训练。
   • 采用标准的数据增强和 Adam 优化器；作者还提出了一种在训练过程中逐步增加仿真长度的调度策略，以稳定学习过程。

4. Evaluation Protocol

   • 实验将 CP‑DSA 与基线 LIF SNN、ANN‑to‑SNN 转换方法以及近期的生物启发神经元模型进行比较。
   • 评估指标包括分类准确率、时间步数（延迟）以及基于脉冲计数的估计能耗。

结果与发现

• 延迟降低：CP‑DSA 在 一半或更少的仿真步数 下即可达到相当或更好的准确率，直接转化为神经形态硬件上更快的推理。
• 能量效率：由于脉冲是主要的能耗来源，推理时更低的脉冲计数预计可比传统硬复位 LIF 网络节省 30‑50 % 能量。
• 消融研究 表明软复位和 CP 机制均独立贡献；去除任意一个会导致平均性能下降 2‑4 %。
• 参数分析 显示，学习到的树突和轴突缩放因子会适应数据集特性，验证了模型发现有用内部表征的能力。

Practical Implications

• Edge AI & IoT devices: 开发者可以部署基于 SNN 的分类器，实现仅数微秒的响应时间，非常适合对延迟和电池寿命要求严格的低功耗传感器、机器人和可穿戴设备。
• Neuromorphic hardware compatibility: CP‑DSA 神经元能够无缝映射到现有的事件驱动芯片（如 Intel Loihi、IBM TrueNorth），因为它仅增加了简单的算术运算（减法）和少量额外参数——没有任何异构操作。
• Rapid prototyping: 借助开源代码，工程师可以在 PyTorch 或 TensorFlow 兼容的 SNN 框架中，将标准 LIF 层替换为 CP‑DSA，从而在无需重新设计整个网络的情况下立刻获得延迟优势。
• Hybrid ANN‑SNN pipelines: 软复位动态使得将预训练的 ANN 转换为 SNN 更加容易，因为残余的膜电位会保留本应在转换过程中丢失的信息。
• Real‑time event processing: 手势识别、自动驾驶感知和基于脉冲的音频处理等实时事件处理应用，现在可以在更少的时间步内实现更高的准确率，从而降低整体系统延迟。

限制与未来工作

• 硬件特定调优：虽然 CP‑DSA 神经元对硬件友好，但最佳性能仍取决于底层神经形态平台对芯片内减法和参数存储的支持。
• 对极深网络的可扩展性：本文评估了最多 10 层的 SNN；将 CP‑DSA 推广到极深的架构（例如类似 ResNet 的 SNN）可能需要额外的正则化以防止梯度爆炸。
• 超出分类的时间动态：当前工作聚焦于静态图像和短时事件分类。将 CP‑DSA 应用于更长的序列任务（例如语音或视频）仍是未解之题。
• 理论界限：尽管作者提供了收敛论证，但对 CP 机制如何影响学习动态的更紧致界限将加强理论基础。

作者建议的未来研究方向包括：将生物学上合理的可塑性规则（如 STDP）与 CP‑DSA 结合，探索自适应时间步调度，在置信度足够高时自动停止推理，以及在更大的神经形态数据集（如 N‑Caltech101）或真实世界机器人流水线中进行基准测试。

作者

• Zeyu Huang
• Wei Meng
• Quan Liu
• Kun Chen
• Li Ma

论文信息

• arXiv ID: 2512.16259v1
• 分类: cs.NE
• 出版日期: 2025年12月18日
• PDF: 下载 PDF