[Paper] 类人工作记忆来自人工内在可塑性神经元

发布: 1个月前 (2025年12月18日 GMT+8 01:24)

7 min read

原文: arXiv

Source: arXiv - 2512.15829v1

概述

本文介绍了 IPNet，一种神经形态系统，通过利用磁隧道结（MTJ）神经元的内在可塑性来模拟人类工作记忆。通过硬件与软件的协同设计，作者实现了超低能耗、近传感器的处理能力，在动态视觉任务上可与乃至超越最先进的循环网络和三维卷积神经网络模型竞争。

Intrinsic‑Plasticity Neurons (IPNeurons): 利用 MTJ 的焦耳加热动力学，创建一种类似生物工作记忆的物理易失性记忆机制。
硬件‑软件协同设计: 整个网络由已制造的 MTJ 器件构建；无需后期参数调优。
类人记忆行为: 在 n‑back、自由回忆和干扰实验中表现出与人类受试者相当的性能。
性能提升：
- 在 11 类 DVS 手势基准上达到 99.65 % 的准确率。
- 在新发布的 22 类时间反转手势集合上达到 99.48 % 的准确率，使用相同骨干网络超越 RNN/LSTM/2+1D‑CNN 基线。
- 在 DDD‑20 自动驾驶数据集上相较于 ResNet‑LSTM 基线，转向角预测误差降低 14.4 %。
能耗与面积效率：
- 内存功耗比 LSTM 低 2,874 倍，比并行 3‑D CNN 低 90,920 倍。
- 每个神经元约 1.5 µm²（28 nm CMOS），比传统泄漏积分‑发放（LIF）实现小 >20 倍。
“Memory‑at‑the‑Frontier” 效应：表明将易失性记忆直接置于传感器接口可最大化动态视觉性能，支持一种生物可行的近传感器计算范式。

Device Physics Layer: 制造的 MTJ 堆叠被驱动进入受控加热状态；由此产生的电阻变化充当短暂的状态（内在可塑性），会自然衰减，模拟人类工作记忆的易失性。
Neuron Model: 每个 IPNeuron 将物理电阻轨迹映射为脉冲率输出，消除了对外部电容或数字存储缓冲的需求。
Network Architecture: 标准深度学习主干（例如 ResNet 风格的特征提取器）被增添了一层仅由 IPNeurons 组成的薄“工作记忆”层。网络的其余部分保持不变，能够与 RNN/LSTM/3‑D‑CNN 基线进行公平的逐对比较。
Training & Inference: 网络在软件中使用测得的器件传递函数进行训练；在推理阶段，硬件在环（HIL）设置将软件层替换为实际的 MTJ 硬件，从而保留已学习的权重。
Benchmark Suite: 评估覆盖基于事件的视觉（DVS 手势）、自定义的时间反转手势基准以及真实世界的驾驶数据集（DDD‑20）。还进行人类行为实验，以使模型的记忆曲线与心理物理学研究中观察到的曲线保持一致。

基准	基线（相同骨干）	IPNet	相对提升
11 类 DVS 手势	97.8 % (RNN)	99.65 %	+1.85 %
22 类时间反转手势	97.2 % (2+1D‑CNN)	99.48 %	+2.28 %
DDD‑20 转向预测（RMSE）	0.112 rad	0.096 rad	–14.4 %
存储功耗（每个神经元）	1.2 µW (LSTM)	0.42 nW	2,874× 更低
面积（每个神经元）	30 µm² (LIF)	1.5 µm²	>20× 减少

总体而言，IPNet 展示了借鉴大脑固有可塑性能够同时实现性能和能耗优势，指向新一代受大脑启发、靠近传感器的 AI 硬件。