[Paper] 通过时空分离释放脉冲神经网络的时间容量

Source: arXiv - 2512.05472v1

概览

本文挑战了这样一种常见观点：脉冲神经网络（Spiking Neural Networks，SNNs）的膜电位动力学是其时间推理能力的主要驱动因素。通过系统性地剥离“有状态”的膜传播，作者发现了空间（语义）与时间（运动）容量之间的惊人权衡，并提出了一种新架构——空间‑时间可分离网络（Spatial‑Temporal Separable Network，STSep），该架构显式地将这两种角色分离，以提升视频理解性能。

主要贡献

• 对 SNN 时间建模的实证剖析： 引入 非有状态 (Non‑Stateful, NS) 变体，逐层移除膜传播，量化其影响。
• 发现时空资源竞争： 证明过度依赖时间状态会损害空间特征学习，而适度削减实际上可以提升准确率。
• STSep 设计： 一个残差块被拆分为两个独立分支——一个纯空间（语义提取），一个纯时间（显式帧差处理）。
• 在视频基准上的最新成果： 在 Something‑Something V2、UCF101 和 HMDB51 上实现了优于已有 SNN 基线的精度。
• 可解释性证据： 检索实验和注意力可视化表明时间分支关注的是运动线索而非静态外观。

方法论

1. 非有状态 (NS) 消融实验：

   • 从传统 SNN 出发，作者将膜更新公式 (V[t] = α·V[t‑1] + I[t]) 替换为 无状态 版本，直接丢弃前一时刻的电位 (V[t] = I[t])。
   • 该替换可选择性地应用于浅层、深层或全部层，形成一系列 NS 模型。

2. 定量分析：

   • 对每个 NS 变体在视频分类任务上进行训练，并将性能与完全有状态的基线进行比较。
   • 记录准确率随时间状态被移除的变化，揭示出一个“甜点”，即部分移除有助于提升性能。

3. STSep 架构：

   • 空间分支： 标准卷积残差块（无时间状态），从每帧中提取高级语义。
   • 时间分支： 计算相邻帧的显式时间差，将其送入轻量级脉冲块，并聚合运动信息。
   • 两个分支通过相加合并，保持整体残差结构，同时保持两条处理流的独立性。

4. 训练与评估：

   • 使用代理梯度下降对脉冲网络进行端到端训练。
   • 在三个流行视频数据集（Something‑Something V2、UCF101、HMDB51）上评估，并进行视频检索测试以探查网络关注点。

结果与发现

• 部分移除提升性能： 仅从浅层或仅从深层去除时间状态即可带来 1–2 % 的提升，验证了竞争假设。
• 完全移除导致学习崩溃： 当所有层都变为无状态时，准确率急剧下降，说明仍需一定的时间容量。
• STSep 超越所有 NS 变体： 通过专门的通路，STSep 在不牺牲语义丰富度的前提下捕获运动信息，取得了全局最高分。
• 可解释性： 检索实验显示，时间分支检索到的视频共享相同的运动模式（如“推”与“拉”），而非相同的视觉纹理；注意力图突出显示了运动区域。

实际意义

• 面向边缘设备的更高效视频模型： STSep 保留了 SNN 低功耗、事件驱动的特性，同时提升了精度，适用于监控摄像头、无人机或 AR 眼镜等神经形态芯片。
• 脉冲架构设计指南： 在处理时间数据时，应为时间信息分配专用模块（如帧差层），而非仅依赖膜动力学。
• 简化训练流程： 空间与时间流的解耦降低了对膜衰减常数的精细调参需求，减轻了开发者的超参数搜索负担。
• 多模态融合的潜力： 空间分支可以替换为其他特征提取器（如音频或深度编码器），而保持时间分支不变，从而促进跨模态脉冲系统的构建。

局限性与未来工作

• 数据集范围： 实验聚焦于相对短小、裁剪后的视频片段；对长时、连续流（如实时监控）的表现尚未验证。
• 硬件验证： 论文仅报告 FLOPs 与精度，缺乏在实际神经形态硬件（Loihi、TrueNorth）上的测量，能耗提升仍待实证。
• 时间粒度： 显式差分操作假设固定帧率；适配可变速率的事件流可能需要额外机制。
• 未来方向： 将 STSep 扩展至异步事件相机，探索空间‑时间容量的自适应分配，并引入超越简单差分的可学习时间卷积核。

作者

• Yiting Dong
• Zhaofei Yu
• Jianhao Ding
• Zijie Xu
• Tiejun Huang

论文信息

• arXiv ID: 2512.05472v1
• 分类: cs.NE
• 发布日期: 2025 年 12 月 5 日
• PDF: Download PDF