一种脉冲神经网络实现的高斯信念传播

Source: arXiv - 2512.10638v1

Overview

本文展示了如何利用一组脉冲（泄漏积分-发放）神经元实现 高斯信念传播——许多贝叶斯推理任务背后的核心消息传递算法。通过将三种基本线性操作（相等/分支、加法、乘法）转换为基于脉冲的编码，作者构建了一个完整功能的脉冲神经网络（SNN），其行为与经典的和‑积算法相匹配，为能够实时运行概率模型的神经形态硬件打开了大门。

Key Contributions

• 基于脉冲的编码/解码方案 用于高斯消息（均值和方差），能够保持信念传播所需的精确算术。
• 构建的 SNN 原语 实现了相等（分支）、加法和乘法，仅使用泄漏积分‑发放神经元和突触权重。
• 端到端验证 对标标准的和‑积算法，展示了在多种因子图拓扑下误差可忽略不计。
• 展示的应用 包括两个典型贝叶斯任务：(1) 动态状态估计的卡尔曼滤波，(2) 静态参数学习的贝叶斯线性回归。
• 提供了蓝图 将概率图模型映射到神经形态平台（如 Loihi、SpiNNaker），突出能效推理的优势。

Methodology

1. 因子图表示 – 将目标概率模型表达为因子图，其中每个因子对应一个线性高斯约束（相等、求和、乘积）。
2. 消息表示 – 将高斯消息 (\mathcal{N}(\mu, \sigma^2)) 编码为一对脉冲列：一条通过发放率携带均值 (\mu)，另一条通过脉冲间隔调制携带精度 (\lambda = 1/\sigma^2)。
3. 神经原语 –
   • 相等节点：一个分支电路，将输入脉冲列复制到多个输出，同时保持率/精度不变。
   • 加法节点：一组兴奋/抑制突触，按照高斯加法规则对输入率求和并合并精度。
   • 乘法节点：更复杂的微电路，通过递归抑制同时调节率和方差，实现两个高斯的乘积。
4. 仿真 – 作者在自研的 Python/NumPy 脉冲仿真器中构建 SNN，使用标准 LIF 动力学（膜时间常数、阈值、复位）。每个原语在离散时间步中运行，消息在短暂的积分窗口后解码。
5. 基准测试 – 将 SNN 输出的消息与同一因子图上教材级和‑积实现的结果进行比较，测量均值的均方误差和方差的相对误差。

Results & Findings

SNN 在每条消息上仅需几百个仿真步即可收敛，折算到现代神经形态芯片上对应亚毫秒级延迟。基于 Loihi 能耗模型的估算显示，每次推理的能耗比 CPU 上的浮点实现低 10–20 倍。

Practical Implications

• 神经形态推理引擎 – 开发者现在可以将贝叶斯推理直接嵌入边缘设备（如 IoT 传感器、自治无人机），无需将计算卸载到云端。
• 鲁棒传感器融合 – 卡尔曼滤波示例表明，脉冲硬件能够实时融合噪声测量，适用于机器人和 AR/VR 流程中对功耗极其敏感的场景。
• 硬件上的概率编程 – 原语库（相等、加法、乘法）可组合成更高级的概率程序（如 Pyro、Edward），实现“概率神经形态编译器”。
• 可解释 AI – 由于底层计算与经典贝叶斯更新完全对应，模型仍保留解释性（后验均值/不确定性），同时受益于脉冲网络的并行性。

Limitations & Future Work

• 高斯限制 – 当前实现仅支持线性高斯因子；要扩展到非高斯或离散变量，需要更丰富的脉冲编码或混合 SNN‑数字方案。
• 可扩展性 – 虽然原语在中等规模图上表现良好，但神经元数量随消息数线性增长，可能在资源受限的神经形态芯片上成为瓶颈。
• 硬件验证 – 实验均在软件仿真器中完成，尚未在 Loihi、SpiNNaker 或新兴的忆阻 SNN 平台上进行实机部署。
• 参数学习 – 论文假设因子参数（均值、方差）已知。未来工作可引入在线学习规则（如基于 STDP 的更新）以实现参数的即时估计。

结论：通过将高斯信念传播转化为基于脉冲的操作，本文搭建了概率 AI 与神经形态工程之间的桥梁，为开发者在下一代硬件上运行能效极高的贝叶斯推理提供了切实可行的路径。

Authors

• Sepideh Adamiat
• Wouter M. Kouw
• Bert de Vries

Paper Information

• arXiv ID: 2512.10638v1
• Categories: cs.NE
• Published: December 11, 2025
• PDF: Download PDF