[Paper] CogniSNN：实现神经元可扩展性、路径可重用性和动态可配置性，基于随机图结构的脉冲神经网络

Source: arXiv - 2512.11743v1

概述

本文提出 CogniSNN，一种新型脉冲神经网络（SNN），摒弃传统的层层堆叠“链式”结构，采用受生物神经元互连方式启发的 随机图连通性。作者声称通过此方式实现三种类脑特性——神经元可扩展性、通路可复用性和动态可配置性，同时在神经形态基准测试上的性能与当前最先进的 SNN 相当或更佳。

主要贡献

• 随机图架构 (RGA) 用于 SNN，模拟随机神经连线，实现通路的灵活扩展与复用。
• 纯脉冲残差块 加上 自适应池化 方案，以防止深层随机图中的退化和维度不匹配。
• 关键通路学习不遗忘 (KP‑LwF)：一种持续学习策略，复用关键通路以在多任务间保持已有知识。
• 动态增长学习 (DGL) 算法，使神经元和突触在推理的时间维度上动态增长，降低干扰并缓解神经形态芯片上固定时间步的限制。
• 大规模实证验证 在神经形态数据集（如 DVS‑CIFAR10、N‑Caltech101）和 Tiny‑ImageNet 上进行，显示出与领先 SNN 模型相竞争或更优的准确率。

方法论

1. 随机图生成 – 网络不再堆叠层，而是构建为有向无环随机图，每个节点代表一组脉冲神经元。边的概率遵循可配置分布，可根据硬件预算使图更稠密或更稀疏。
2. 脉冲残差连接 – 为保持跨多跳的信号幅度稳定，作者改编经典残差捷径，但纯粹使用脉冲实现（无浮点旁路），避免深层 SNN 常见的“脉冲消失”问题。
3. 自适应池化 – 在每个图块之后，池化算子根据当前脉冲活动动态选择合适的空间分辨率，防止并行通路合并时出现形状不匹配。
4. KP‑LwF – 在多任务训练期间，系统识别出“关键通路”（对任务损失贡献最大的子图），冻结这些通路，同时让其他通路适应，从而在不产生灾难性遗忘的情况下保留先前知识。
5. 动态增长学习 – 在处理序列时，网络可在运行时即时实例化新神经元或突触，以满足更高的时序容量需求。增长决策由基于脉冲的效用度量驱动，平衡准确率提升与硬件成本。

所有组件均使用标准脉冲原语（漏积分-发放（Leaky‑Integrate‑and‑Fire）神经元、代理梯度反向传播）实现，兼容现有 SNN 工具包（如 BindsNET、Norse）。

结果与发现

• 通路可复用性：在顺序多任务实验（CIFAR‑10 → CIFAR‑100 → Tiny‑ImageNet）中，CogniSNN 保留了 >90 % 的原始任务性能，而传统 SNN 在后续任务上跌至 <70 %。
• 动态增长：在严格的 1 ms 时间步预算的神经形态芯片仿真中，DGL 将推理延迟降低约 15 %，且准确率仅比静态版本低 0.5 %。
• 资源效率：约 30 % 更少突触的随机图可实现与密集前馈 SNN 相当的准确率，表明在硬件上有潜在的功耗节省。

实际意义

• 神经形态硬件部署 – 随机图布局自然映射到交叉开关阵列，可利用稀疏性降低能耗。DGL 机制直接解决了许多 SNN 加速器面临的固定时间步瓶颈。
• 边缘设备持续学习 – KP‑LwF 使得设备能够在不从头训练的情况下更新模型（如添加新手势类别），对需随时间适应的 IoT 传感器尤为重要。
• 可扩展架构设计 – 开发者可调节图密度和增长策略，以满足特定的延迟、功耗或内存约束，提供比传统“层大小”调节更细粒度的权衡。
• 工具链兼容性 – 由于作者基于标准代理梯度训练，现有基于 PyTorch 的 SNN 流水线只需少量代码改动即可采用 CogniSNN，加速实验迭代。

局限性与未来工作

• 图生成开销 – 随机图构建及相应路由逻辑会增加一定的编译时间成本；论文未深入探讨自动化硬件映射工具。
• 对超大数据集的可扩展性 – 实验止步于 Tiny‑ImageNet，尚不清楚 CogniSNN 在完整 ImageNet 或视频流上的表现。
• 生物可解释性 vs. 工程折衷 – 虽然架构更类脑，但代理梯度训练仍依赖非脉冲的反向传播，作者已承认这一差距。
• 未来方向 包括 (1) 融入硬件感知的图合成，(2) 将 DGL 扩展至支持突触剪枝以实现终身学习，(3) 探索混合 ANN‑SNN 流水线，将随机图 SNN 核心与传统深度学习模块结合。

作者

• Yongsheng Huang
• Peibo Duan
• Yujie Wu
• Kai Sun
• Zhipeng Liu
• Changsheng Zhang
• Bin Zhang
• Mingkun Xu

论文信息

• arXiv ID: 2512.11743v1
• 分类: cs.NE, cs.AI
• 发布日期: 2025 年 12 月 12 日
• PDF: Download PDF