[Paper] 参数高效混合 spiking-quantum 卷积神经网络,使用 surrogate gradient 和 quantum data-reupload
发布: (2025年12月3日 GMT+8 23:43)
7 min read
原文: arXiv
Source: arXiv - 2512.03895v1
概述
本文介绍了 SQDR‑CNN,一种混合脉冲‑量子卷积神经网络,可通过普通的反向传播实现端到端训练。通过将脉冲神经网络(SNN)与量子数据重新上传电路相结合,作者展示了一个体积小、完全可训练的模型能够在视觉基准测试中达到接近最新水平(SOTA)的准确率,同时只使用传统 SNN 参数的一小部分。
关键贡献
- 可联合训练的混合架构 – 首个将卷积脉冲神经网络(SNN)编码器与变分量子电路(VQC)集成到单一可微分流水线的设计,消除了对预训练脉冲编码器的需求。
- 量子数据重新上传层 – 引入一种可复用的量子特征编码方案,能够在浅层 VQC 中多次注入经典激活,提升表达能力而无需加深电路。
- 代理梯度反向传播 – 将代理梯度方法适配于同时在脉冲非线性和量子层之间传播误差。
- 参数效率 – 在仅使用最小竞争脉冲模型 0.5 % 参数的情况下,达到最佳 SNN 精度的约 86 %。
- 对量子噪声的鲁棒性 – 在真实噪声量子模拟器下评估模型,展示出优雅的性能衰减,并证实了在近期量子硬件上的可行性。
方法论
- Convolutional Spiking Front‑end – 输入图像通过几层 2‑D 卷积层处理,随后是泄漏积分‑发放 (LIF) 神经元。尖峰活动使用平滑的代理函数近似,以便梯度可以传播。
- Quantum Data‑Reupload Block – 基于尖峰的特征图被展平并编码为量子比特的旋转角度。一个浅层 VQC(通常为 2–3 层参数化的单量子比特旋转和纠缠 CNOT)被重复执行,每一轮“重新上传”相同的数据并更新参数。这在保持电路深度低的同时模拟更深的网络。
- Hybrid Loss & Optimization – 来自量子测量的输出概率被送入交叉熵损失。整个系统——CNN、尖峰动力学和 VQC——使用 Adam 优化,尖峰使用代理梯度,量子门使用参数移位规则。
- Noise Modeling – 在量子模拟器中注入去极化和读取错误,以模拟 NISQ 时代硬件,使作者能够在真实条件下评估稳定性。
结果与发现
| 模型 | 参数 (M) | Top‑1 准确率 | 相对 SOTA SNN |
|---|---|---|---|
| 基准 SNN(large) | 1.2 | 92 % | 100 % |
| SQDR‑CNN(ours) | 0.006 | 79 % | ≈86 % |
| Tiny SNN(smallest) | 0.12 | 84 % | — |
- 参数减少:SQDR‑CNN 只使用最小 SNN 基线约 0.5 % 的参数,却仍然达到竞争性的准确率。
- 训练稳定性:联合反向传播在没有对脉冲编码器进行任何预训练的情况下收敛,这不同于之前依赖冻结 SNN 的 SQNN 工作。
- 噪声鲁棒性:当加入 1 % 的去极化噪声时,准确率下降不到 3 %,表明浅层量子电路能够容忍近期硬件的不完美。
实际意义
- 超低内存的边缘 AI – 极高的参数效率使该模型对超资源受限的设备(例如可穿戴设备、物联网传感器)具有吸引力,这些设备可以将量子模块卸载到基于云的量子处理器。
- 混合推理流水线 – 开发者可以将大部分计算保留在经典 GPU(脉冲 CNN)上,仅在最终分类提升时调用轻量级量子服务,从而降低量子运行时间和成本。
- 能耗感知的类脑系统 – 脉冲编码器本质上是事件驱动且功耗稀疏的;将其与小型量子电路耦合,可进一步降低每次推理的能耗,相较于密集 CNN 更具优势。
- 快速原型化量子增强模型 – 代理梯度 + 参数移位的训练循环可以嵌入现有的 PyTorch/TensorFlow 工作流,使机器学习工程师无需深厚的量子编程专业知识即可实验量子层。
限制与未来工作
- 可扩展性到更大数据集 – 实验仅限于相对较小的视觉基准;将其扩展到 ImageNet‑规模的任务可能需要更深的经典骨干网络或更复杂的量子编码。
- 硬件获取 – 本研究依赖于模拟的噪声量子设备;在实际 NISQ 硬件上的真实表现可能因校准误差和受限的量子比特数量而有所不同。
- 电路深度与表达能力的权衡 – 虽然数据重新上传可以减轻深度问题,但浅层 VQC 的表达能力仍受限;未来工作可以探索自适应电路架构或量子‑经典混合注意力机制。
- 能耗预算分析 – 对总体能耗(包括量子通信开销)的详细比较仍未完成,这对于边缘部署场景至关重要。
结论:SQDR‑CNN 表明,精心设计的脉冲‑量子混合模型能够以极少的参数实现 SOTA 级别的性能,为开发者在资源受限的环境中尝试量子增强 AI 提供了实用的路径。
作者
- Luu Trong Nhan
- Luu Trung Duong
- Pham Ngoc Nam
- Truong Cong Thang
论文信息
- arXiv ID: 2512.03895v1
- 类别: cs.NE
- 出版日期: December 3, 2025
- PDF: 下载 PDF