稀疏轴突和树突延迟实现用于关键词分类的竞争性 SNN

Source: arXiv - 2602.09746v1

（请提供需要翻译的正文内容。）

概述

本文展示了learning only axonal or dendritic transmission delays——而不是完整的突触‑延迟矩阵——即可让深度前馈脉冲神经网络（SNN）在关键词检测任务上实现最先进的准确率，同时显著降低内存和计算需求。作者指出，仅有约 20 % 的活跃延迟即可保持性能，这为在边缘设备上实现轻量级、实时的 SNN 铺平了道路。

关键贡献

• 稀疏轴突/树突延迟学习：引入两种极简的延迟机制（轴突侧或树突侧），取代以往工作中使用的密集突触延迟表。
• 竞争性准确率：在 Google Speech Command (GSC) 上达到 95.58 %，在 Spiking Speech Command (SSC) 上达到 80.97 %，匹配或超越已发表的最佳突触延迟 SNN。
• 资源效率：相比完整的突触延迟模型，内存占用和缓冲延迟降低最高可达 80 %。
• 对稀疏性的鲁棒性：显示当仅有 20 % 的延迟保持激活时，性能仍能平滑下降，证明大多数延迟是冗余的。
• 开源实现：提供可直接运行的基于 PyTorch 的代码库，便于复现和快速原型开发。

方法论

1. 网络架构 – 由泄漏积分‑发放（LIF）神经元构成的传统深度前馈 SNN。唯一的新颖之处在于可学习延迟的放置位置：
   • 轴突延迟 – 在脉冲离开突触前神经元后、到达突触后膜之前添加。
   • 树突延迟 – 在脉冲在突触后侧积分之前添加。
2. 延迟参数化 – 每条连接携带一个标量延迟（以离散时间步计）。在训练期间，这些延迟被视为连续变量，并通过代理梯度反向传播进行优化，这与 SNN 中突触权重学习使用的技术相同。
3. 稀疏性约束 – L1 正则化（或硬阈值）促使许多延迟收敛为零，从而得到稀疏的延迟矩阵。
4. 训练流程 – 对语音指令进行标准数据增强，通过滤波器组前端进行脉冲编码，使用 Adam 优化器并配合学习率调度。损失函数为最终读出层的交叉熵。
5. 基线比较 – 作者重新实现了领先的突触延迟 SNN，并调优其超参数，以确保公平的正面对比。

结果与发现

• 内存与延迟：轴突延迟只需要 每个神经元一个单步缓冲区，而突触延迟则需要按最大延迟值比例的每连接缓冲区。这在典型的神经形态硬件上相当于减少约 5‑10 倍的 RAM 使用。
• 稀疏性影响：仅有 20 % 的延迟被激活时，准确率下降 <1 %（GSC）和 <2 %（SSC），验证了大多数延迟对任务是冗余的。
• 训练稳定性：两种延迟类型在收敛所需的 epoch 数上与突触延迟模型相当，表明更简洁的参数化并不会阻碍学习动态。

实际意义

• Edge AI 与低功耗设备 – 减少的内存和缓冲需求使这些 SNN 对微控制器、ASIC 神经形态芯片或 SRAM 稀缺的 FPGA 实现具有吸引力。
• 实时关键词检测 – 高精度结合低延迟（单步轴突缓冲）使得在设备上进行唤醒词检测成为可能，无需云连接，保护用户隐私。
• 简化硬件设计 – 对每个连接实现单一延迟（而非每个突触的延迟线）简化了布线和时序约束，可能降低硅面积和功耗。
• 可迁移性 – 相同的延迟学习原理可应用于其他时间任务（例如手势识别、基于事件的视觉），其中时间携带语义信息。

限制与未来工作

• 任务范围 – 实验聚焦于关键词分类；更广泛的基准（例如语音转文本、连续音频流）仍需测试。
• 延迟粒度 – 延迟被量化为整数时间步；子步精度可能进一步提升性能，但会增加硬件映射的复杂性。
• 硬件验证 – 论文报告了模拟的资源节省；需要完整的硅片或 FPGA 原型来确认实际收益。
• 生物学可信度 – 虽然受轴突/树突传播启发，模型抽象掉了许多神经生理细节；未来工作可以探索更符合生物学的动态。

作者承诺将在 GitHub 上发布代码，方便开发者在自己的 SNN 项目中实验轴突和树突延迟学习。

作者

• Younes Bouhadjar
• Emre Neftci

论文信息

• arXiv ID: 2602.09746v1
• 分类: cs.NE
• 发布日期: 2026年2月10日
• PDF: 下载 PDF