[Paper] 加速神经形态硬件上模拟信号的实时处理

Source: arXiv - 2602.04582v1

概述

本文提出了一种新颖的方法，将原始模拟传感器数据（例如来自麦克风的音频）直接输入神经形态芯片，绕过常规的模数（A/D）和数模（D/A）转换步骤。借助加速的 BrainScaleS‑2 平台，作者展示了实时声源定位和运动驱动，说明可以在神经形态硬件上构建完整的模拟输入‑模拟输出处理流水线。

关键贡献

• 直接模拟注入：首次演示将连续值传感器流直接输入 BrainScaleS‑2 ASIC 的模拟计算单元。
• 端到端片上流水线：在单芯片上集成传感器输入、脉冲神经网络（SNN）处理和执行器控制（伺服电机）。
• 1000× 加速：利用硬件的加速实现实时听觉定位和运动对齐，延迟达微秒级。
• 双耳时差（ITD）的空间编码：实现了一个受生物启发的 SNN，将 ITD 转换为用于声源方向估计的空间码。
• 开源软件栈：提供基于 Python 的 API，用于配置模拟前端、SNN 和嵌入式微控制器，促进可重复性。

方法论

1. 硬件平台 – BrainScaleS‑2 是一种混合信号神经形态芯片，内置模拟神经元电路（泄漏积分‑发射）和一个微型嵌入式微处理器。该芯片的运行速度是生物实时的 1000 倍。

2. 模拟前端 – 两个麦克风连接到芯片的模拟输入引脚。它们的电压信号经过低通滤波后直接叠加到指定神经元组的膜电位中，省去了 A/D 转换。

3. 脉冲神经网络 – 一个浅层 SNN 将模拟麦克风信号作为连续电流接收。网络被调校用于检测两耳之间微小的时差（ITD）。神经元发放脉冲以编码 ITD，随后被读取为空间编码（例如，“左”“中”“右”）。

4. 嵌入式控制回路 – 芯片上的微处理器读取空间编码，计算运动指令，并驱动 PWM 输出以控制舵机。舵机实际旋转，指向检测到的声源。

5. 软件编排 – Python 驱动程序配置模拟信号路由，编程 SNN 参数，并实时监控电机位置，从而实现快速原型开发和调试。

结果与发现

这些数据表明，直接模拟馈送不仅加快了处理速度，还在不牺牲精度的前提下实现了能源节省。

实际意义

• 针对物联网设备的边缘 AI – 传感器（麦克风、加速度计等）可以直接连接到神经形态芯片，实现超低延迟推理，适用于电池供电的边缘节点（例如智能音箱、可穿戴设备）。
• 机器人技术 – 实时传感器到执行器的闭环在没有重量级 CPU 或 GPU 的情况下成为可能，为轻量级自主无人机或假肢控制器打开了大门。
• 音频处理 – 波束形成、声场分析或助听器等应用可以受益于亚毫秒的响应时间和降低的功耗预算。
• 简化硬件堆栈 – 通过去除 A/D 与 D/A 阶段，板卡设计更简洁，元件数量减少，总体物料清单（BOM）也随之缩小。
• 加速研究 – 1000 倍的速度提升使开发者能够在几分钟内测试学习算法和网络架构，而在生物时间硬件上则需要数小时。

限制与未来工作

• 模拟噪声敏感性 – 直接的模拟注入使系统容易受到传感器漂移和电磁干扰的影响；需要进行仔细的屏蔽和校准。
• I/O 可扩展性 – 当前的 ASIC 提供的模拟输入引脚数量有限，限制了同时使用的传感器数量。
• 网络复杂度 – 所展示的 SNN 较为浅层；若要扩展到更深、更具表达能力的网络，可能需要额外的片上资源或混合数字‑模拟方案。
• 泛化能力 – 实验主要聚焦于瞬态噪声峰值；未来工作应探索连续语音、多源环境以及其他传感模态（例如视觉）。

作者建议集成可编程的模拟前端，并扩展微控制器的能力，以处理更丰富的传感器组合和更复杂的控制策略。

作者

• Yannik Stradmann
• Johannes Schemmel
• Mihai A. Petrovici
• Laura Kriener

论文信息

• arXiv ID: 2602.04582v1
• 分类: cs.NE
• 出版日期: 2026年2月4日
• PDF: 下载 PDF