[Paper] 隐私保护的边缘跌倒检测使用 Sony IMX636 事件式视觉传感器和 Intel Loihi 2 神经形态处理器

Source: arXiv - 2511.22554v1

概览

一项新研究展示了将神经形态视觉传感器（Sony IMX636）与 Intel 的 Loihi 2 神经形态处理器结合使用，能够在实时检测跌倒的同时保持数据隐私并实现超低功耗。通过将推理迁移到边缘并利用传感器的稀疏、事件驱动特性，系统提供了一种隐私保护的“智能摄像头”，可在老年护理环境中部署，而无需将原始视频流式传输到云端。

关键贡献

• 端到端神经形态流水线：集成 Sony IMX636 事件相机、FPGA 接口和单颗 Loihi 2 芯片，实现传感器端推理。
• 稀疏 SNN 设计：探索了多种泄漏积分-发放（LIF）脉冲神经网络（SNN）架构，包括二进制和分级脉冲变体，以寻找精度与突触运算次数之间的最佳平衡。
• Pareto 最优性能：确定了一种分级脉冲卷积 SNN，在突触运算量降低 55 倍的情况下实现 58 % 的 F1，另有一种混合 MCUNet + S4D 模型在仅使用约 2 倍基线运算的情况下将 F1 提升至 84 %。
• 能耗感知概念验证：演示了一个完整功能的“智能安防摄像头”，在 Loihi 2 上耗电约 90 mW，适合持续运行的部署。
• 新数据集：收集了一个多样化的基于事件的跌倒检测数据集，涵盖不同光照、背景运动和遮挡情景，并已公开供后续研究使用。

方法论

1. 传感器与接口 – Sony IMX636 事件相机输出像素级别的异步亮度变化（事件），而非完整帧。FPGA 板将这些事件转换为 Loihi 2 处理器可接受的格式，保留事件的时间戳和稀疏性。
2. 网络探索 – 研究者训练了多种使用泄漏积分-发放神经元的脉冲卷积网络。比较了两种脉冲编码方案：
   • 二进制脉冲（标准的“开/关”脉冲）
   • 分级脉冲（脉冲携带幅度信息）
     网络被剪枝至不同稀疏程度，以评估运算次数与精度的权衡。
3. 混合特征提取器 – 轻量级 MCUNet CNN 从事件流中提取紧凑特征，然后将其输入到 S4D（状态空间序列）模型，该模型在 Loihi 2 上作为脉冲递归层运行。
4. 评估 – 在新录制的数据集上对模型进行基准测试，测量 F1 分数、突触运算稀疏度、延迟以及 Loihi 2 芯片的功耗。

结果与发现

• 分级脉冲在提升约 6 % 检测精度的同时，将运算量相比二进制脉冲降低了 5 倍。
• 混合 MCUNet‑S4D 流水线在仅略增运算量的情况下实现了最佳整体检测（84 % F1），且功耗保持在 100 mW 以下，证实了其在电池供电边缘设备上的可行性。
• 延迟测量显示反应时间低于 100 ms，满足“持续在线”实时需求。

实际意义

• 隐私优先的监控：系统从不重建完整视频帧且在本地处理数据，符合严格的 GDPR 类隐私法规——非常适合养老院、医院或居家护理机器人。
• 超低功耗边缘 AI：约 90 mW 的功耗使单颗 Loihi 2 芯片能够在普通电池上连续运行数周，为无需外部电源的即插即用跌倒检测摄像头提供了可能。
• 可扩展的神经形态流水线：FPGA‑Loihi 2 接口展示了一种可复用的架构，可适配其他基于事件的感知任务（如手势识别、异常检测）。
• 降低带宽与云成本：通过在传感器端完成推理，仅需传输高层警报信息，从而大幅削减网络流量和云计算费用。
• 开发者友好工具：作者使用了开源神经形态框架（NxSDK、PyTorch‑SNN）并公开了数据集，降低了开发者原型化类似解决方案的门槛。

局限性与未来工作

• 检测精度上限：虽然 84 % F1 已相当可观，但在高风险临床环境中仍可能不足；进一步的模型优化或多模态融合（如惯性传感器）或能提升性能。
• 硬件依赖：当前原型依赖自定义 FPGA 桥接和 Loihi 2 芯片，这些硬件尚未大规模生产；更广泛的采用需要更易获取的神经形态硬件或 ASIC。
• 泛化能力：数据集虽具多样性，但局限于受控的室内环境；需要在真实家庭环境中进行测试，包括宠物、杂物以及不同摄像头摆放位置的情况。
• 可解释性：脉冲网络仍然不透明；未来工作可结合神经形态可解释性工具，帮助护理人员理解误报/漏报的原因。

总体而言，本文展示了一条将基于事件的视觉与神经形态处理相结合，实现隐私保护、能效高的跌倒检测的有力路径——这种方法有望重塑边缘 AI 在敏感健康监测领域的应用方式。

作者

• Lyes Khacef
• Philipp Weidel
• Susumu Hogyoku
• Harry Liu
• Claire Alexandra Bräuer
• Shunsuke Koshino
• Takeshi Oyakawa
• Vincent Parret
• Yoshitaka Miyatani
• Mike Davies
• Mathis Richter

论文信息

• arXiv ID: 2511.22554v1
• Categories: cs.NE
• Published: November 27, 2025
• PDF: Download PDF