[Paper] 并行延迟记忆单元用于提升生物医学和生物声学信号分析中的时间建模

Source: arXiv - 2512.01626v1

概览

本文提出了 并行延迟记忆单元 (Parallel Delayed Memory Units, PDMU)——一种将门控延迟线与 Legendre 记忆单元相结合的新型循环神经网络构件。通过将短期时间信息压缩成紧凑向量，PDMU 在保持轻量的同时实现更强的短期信用分配，适用于实时音频、生物声学和生物医学信号处理。

主要贡献

• 延迟门控状态空间模块，在不显著增加参数量的前提下丰富短期时间交互。
• Legendre 记忆单元 (LMU) 压缩 的延迟线，充当因果注意机制，可动态“回顾”最近的时间步。
• 并行训练、顺序推理设计，可无缝嵌入现有线性 RNN 流程。
• 双向、高效和脉冲变体，在延迟、计算或能耗之间进行权衡，以获得进一步的性能提升。
• 大量实证验证，在音频、生物声学和生物医学基准上显示出相较于标准门控 RNN 和线性 RNN 更强的记忆容量和准确率。

方法论

1. 延迟线主干 – 固定长度的 FIFO 缓冲区存储最近的 N 个隐藏状态。
2. 门控机制 – 学习得到的门在每个时间步决定将多少延迟信息混入当前状态，实质上相当于学习的跳连。
3. Legendre 记忆单元 (LMU) 编码器 – 将原始延迟线投影到一组正交的 Legendre 多项式上，得到捕获完整近期历史的低维向量。该向量随后反馈到循环更新中。
4. 并行性 – 由于延迟线的线性特性，延迟线和 LMU 编码可以对 mini‑batch 的所有时间步同时计算，而门控保持顺序进行，以保因果性。
5. 变体
   • 双向 PDMU：前向和后向同时处理序列并拼接表示。
   • 高效 PDMU：降低 LMU 阶数并使用量化门，实现更快推理。
   • 脉冲 PDMU：用事件驱动的脉冲替代连续门，在神经形态硬件上降低能耗。

结果与发现

• 记忆容量 – 通过在长延迟后回忆模式的能力衡量，PDMU 在 50 步滞后时仍保留 >90 % 信息，而标准线性 RNN 约为 ~60 %。
• 参数效率 – 由于线性延迟线，PDMU 相比可比的 GRU 使用约 30 % 更少的可训练参数即可实现上述提升。
• 训练速度 – 延迟线的并行计算将单 GPU 上的实际训练时间缩短了约 1.8 倍。
• 能耗 – 脉冲变体在 Loihi 风格的神经形态芯片上将每次推理的估计能耗降低约 45 %，准确率仅有轻微下降。

实际意义

• 边缘设备音频分析 – 实时关键词检测、野生动物监测或心率分类现在可以在内存更紧张的微控制器上运行，同时仍受益于时间上下文。
• 快速原型 – 由于 PDMU 可直接嵌入现有线性 RNN 代码库，数据科学团队无需大幅重写流水线即可进行实验。
• 受能耗约束的 AI – 脉冲版本为需要持续运行数月的超低功耗健康可穿戴或声学传感器打开了可能。
• 低数据场景下的鲁棒性提升 – 门控跳连行为保留早期表征，帮助模型在仅有少量信息样本（如医学诊断）时实现更好泛化。

局限性与未来工作

• 固定延迟长度 – 当前设计需要预先设定延迟缓冲区大小；自适应或层次化延迟尚未探索。
• 门控开销 – 虽然轻量，但门控步骤仍是顺序的，在极长序列上可能成为瓶颈。
• 领域特定调参 – 不同音频与生物医学信号对 LMU 阶数和门超参数的最佳取值不同，自动调参仍是未解问题。
• 未来方向 – 作者建议引入可学习的延迟调度、将 PDMU 与 transformer‑style 自注意力结合以处理更长时域，并将脉冲变体扩展到混合信号神经形态平台。

作者

• Pengfei Sun
• Wenyu Jiang
• Paul Devos
• Dick Botteldooren

论文信息

• arXiv ID: 2512.01626v1
• 分类: cs.SD, cs.NE
• 发布日期: 2025 年 12 月 1 日
• PDF: Download PDF