[论文] 错误放大限制了 ANN 到 SNN 转换在连续控制中的表现

Source: arXiv - 2601.21778v1

概述

论文 Error Amplification Limits ANN‑to‑SNN Conversion in Continuous Control 说明了为何将高性能的人工神经网络（ANN）转换为脉冲神经网络（SNN）——一种获得低功耗、事件驱动智能体的流行方法——在机器人行走或自动驾驶等连续控制任务上常常失效。作者将 误差放大 跨时间步的现象定位为根本原因，并提出一种轻量级、无需额外训练的修复方法，称为 跨步残差电位初始化 (CRPI)，该方法能够显著恢复性能。

关键贡献

• 误差放大分析: 说明在转换后的 SNN 中，微小的动作近似误差会在时间上产生相关性，导致状态分布漂移，从而在连续控制环境中出现显著的性能下降。
• CRPI 机制: 提出一种简单的残余电位携带方案，在决策步骤之间保留膜电位信息，打破误差相关循环，且无需额外训练。
• 广泛的实证验证: 在一系列 MuJoCo 和 DeepMind Control Suite 基准（包括向量和图像观测）上展示，CRPI 可直接嵌入现有的 ANN‑to‑SNN 流程，并恢复原始 ANN 性能的 80 %。
• 基准贡献: 将连续控制视为 ANN‑to‑SNN 转换的“压力测试”，提供了文献中此前缺失的基准结果。

Source: …

方法论

1. 基线转换流水线 – 作者从一个经过良好训练的前馈或卷积人工神经网络（使用标准强化学习算法训练）开始，并应用常见的率编码转换：将每个 ANN 激活映射为泄漏积分-发放（LIF）神经元的发放率，在每个决策步使用固定的仿真窗口。
2. 诊断误差放大 – 通过在多个时间步跟踪 ANN 与 SNN 动作之间的差异，他们观察到误差并非独立存在；相反，一个错误预测的动作会将环境推向一个新状态，在该状态下 SNN 的近似误差倾向于重复，从而形成反馈回路。
3. 跨步残余电位初始化 (CRPI) – 与每个决策步后将膜电位重置为零的常规做法不同，CRPI 将上一步留下的残余电位加到下一步的初始电位上。这保留了本应丢失的亚阈值信息，平滑了连续动作之间的过渡。该方法只需额外一行代码，且不需要梯度更新。
4. 集成与评估 – 将 CRPI 插入三个流行的转换工具包（例如 SNN‑Torch、BindsNET），并在以下任务上进行测试：
   • 向量观测任务（如 HalfCheetah、Walker2d）
   • 视觉观测任务（如使用像素输入的 DeepMind Control Suite）

结果与发现

• 性能恢复： CRPI 在各任务中始终恢复 ≈85‑95 % 的原始 ANN 奖励。
• 延迟影响： 由于 CRPI 不增加仿真时间步数，推理延迟保持不变。
• 能效： 转换后的 SNN 仍保留事件驱动推理的低功耗优势；额外的残差传递在硬件上几乎没有开销。

消融实验表明，每一步重置膜电位是误差放大的主要原因，且 CRPI 的收益对不同的膜时间常数和发放阈值具有鲁棒性。

实际意义

• 更安全、更低成本的强化学习部署: 开发者现在可以利用现有的高性能 ANN 策略，并将其移植到超低功耗神经形态芯片（例如 Intel Loihi、BrainChip Akida），用于真实世界的机器人或无人机，而无需昂贵的设备端强化学习训练。
• 即插即用的转换: 由于 CRPI 只需在推理循环中添加一行代码，几乎不需要工程工作即可加入现有的转换流水线或库。
• 提升连续控制的可靠性: 必须持续响应的系统（例如电机控制、自动导航）现在可以信赖 SNN 策略，使其与 ANN 对应策略保持接近，从而降低灾难性漂移的风险。
• 基准测试指南: 论文提供的基准套件为实践者在其自身的连续控制问题上评估转换质量提供了参考基准。

局限性与未来工作

• 范围仅限于前馈策略： 本研究聚焦于前馈（或浅层递归）网络；更深的递归架构（例如基于 LSTM 的策略）尚未测试。
• 仅限仿真验证： 实验在软件模拟器中进行；在神经形态芯片上的真实硬件验证留待未来工作。
• 固定时间步假设： CRPI 假设决策步的持续时间恒定；自适应时间步策略可能进一步降低误差，但未进行探索。
• 与量化的潜在交互： 作者指出，将 CRPI 与权重量化或基于脉冲的学习相结合可能引入需要进一步研究的新动态。

作者

• Zijie Xu
• Zihan Huang
• Yiting Dong
• Kang Chen
• Wenxuan Liu
• Zhaofei Yu

论文信息

• arXiv ID: 2601.21778v1
• 分类: cs.NE, cs.LG
• 发布时间: 2026年1月29日
• PDF: 下载 PDF