[Paper] MMA：一种用于惯性传感器的人体活动识别的动量蟒蛇架构

Source: arXiv - 2511.21550v1

概览

本文提出 Momentum Mamba (MMA)，一种基于最新 Mamba 状态空间模型 (SSM) 的神经网络结构，用于从惯性传感器流中进行人体活动识别 (HAR)。通过注入 动量 项——本质上是二阶动力学——MMA 稳定了长序列的信息流动，实现了更高的准确率和更快的收敛速度，同时保持了适度的计算成本。

主要贡献

• 动量增强的 SSM： 在经典的一阶 Mamba 中加入二阶 “动量” 成分，提升了长程记忆和梯度的稳定性。
• 复数动量 Mamba： 将该思路扩展到复数域，实现对记忆的频率选择性缩放，从而获得更丰富的时间表示。
• 全面的 HAR 评估： 在多个公开惯性传感器数据集（如 UCI HAR、PAMAP2、HHAR）上基准测试 MMA，展示了相较于原始 Mamba、CNN/RNN 基线以及 Transformer 的持续提升。
• 面向效率的设计： 只带来适度的 FLOPs 与训练时间增长，仍保持 SSM 的线性时间复杂度。
• 鲁棒性分析： 展示了对传感器噪声和领域转移的提升抗扰性，这在真实可穿戴部署中是常见痛点。

方法论

1. 基础模型 – Mamba SSM：

   • Mamba 将序列视为线性状态空间系统的输出，其转移矩阵由对角 A 和类似卷积的 D 项参数化。
   • 这实现了 O(N) 的时间复杂度（N 为序列长度），在不产生自注意力二次代价的情况下捕获长程依赖。

2. 加入动量：

   • 作者在状态更新方程中加入 速度 项，将一阶递推 h_t = A·h_{t‑1} + … 转化为二阶形式：

     v_t = μ·v_{t‑1} + (1‑μ)·(A·h_{t‑1} + …)
     h_t = h_{t‑1} + v_t

   • 其中 μ 为可学习的动量系数（0 ≤ μ < 1），类似物理动量，平滑快速变化并在多个步骤上保持信息。

3. 复数动量变体：

   • 通过允许 μ 与转移参数为复数，模型能够有选择性地放大或衰减特定频段，类似可学习的滤波器组。

4. 训练流程：

   • 将原始三轴加速度计和陀螺仪流切分为固定长度窗口（例如 2 秒，采样率 50 Hz）。
   • 施加标准数据增强（抖动、缩放、旋转）。
   • 使用交叉熵损失、Adam 优化器和余弦退火学习率调度进行训练。

结果与发现

• 准确率： MMA 在绝对值上始终比 Transformer 和原始 Mamba 高出 0.8–1.5 %。
• 收敛速度： 由于动量带来的梯度平滑，验证准确率约提前 30 %（更少 epoch）达到峰值。
• 鲁棒性： 在合成传感器噪声（高斯 SNR = 10 dB）下，MMA 的准确率下降约 0.4 %，而 Transformer 为约 1.2 %。
• 效率： 相比原始 Mamba，训练 FLOPs 增加约 12 %，推理延迟仍保持线性且在中端移动 CPU 上低于 5 ms。

实际意义

• 适用于边缘的 HAR： 线性时间、低内存占用使 MMA 成为可穿戴设备、智能手机和物联网网关上进行活动分类的有力候选。
• 更快的模型迭代： 更快的收敛降低了云端训练成本，缩短了新活动功能的上市时间。
• 抗噪声部署： 提升的鲁棒性意味着在传感器放置位置和信号质量变化的真实场景中误检更少。
• 可迁移的架构： 由于动量增强的 SSM 是通用序列模型，开发者可以在无需重新设计核心网络的情况下，将 MMA 复用于其他时序任务——如预测性维护、语音关键词检测或金融 tick 数据分析。
• 简化的流水线： MMA 省去了对重型注意力层或深层 RNN 堆叠的需求，简化了模型服务栈，降低了对专用硬件加速器的依赖。

局限性与未来工作

• 二阶开销： 虽然影响不大，但新增的速度状态使隐藏状态尺寸翻倍，在超低功耗微控制器上可能仍会显现。
• 复数动量的稳定性： 复数参数的训练需要谨慎初始化；作者指出在非常长的序列（>10 s）上偶尔会出现发散。
• 领域泛化： 实验主要聚焦于基准数据集，真实场景下的跨主体或跨设备泛化仍需深入验证。
• 未来方向： 作者建议探索自适应动量调度、将 MMA 与轻量注意力相结合以处理多模态输入，以及将该框架扩展到传感器数据的无监督预训练。

作者

• Thai‑Khanh Nguyen
• Uyen Vo
• Tan M. Nguyen
• Thieu N. Vo
• Trung‑Hieu Le
• Cuong Pham

论文信息

• arXiv ID: 2510.21550v1
• 分类: cs.HC, cs.LG
• 发布日期: 2025 年 11 月 26 日
• PDF: Download PDF