Apple 训练 AI 识别可穿戴传感器捕获的以前未见过的手势
Source: 9to5Mac
Source: 9to5Mac – “Apple teaches AI new hand gestures” (July 2025).
Apple AI 手势研究
Apple 最近训练了一个 AI 模型，以识别其原始训练数据集中未包含的手势。研究要点如下：
- 目标： 扩展模型对新出现、未见过的手势的理解能力。
- 方法： 引入补充的手势数据集，并使用迁移学习技术对现有模型进行微调。
- 结果： 更新后的模型在新手势上的 准确率显著提升，同时保持了对原始手势集合的性能。
- 意义： 表明 Apple 的 AI 能够适应用户自定义的输入，为其设备之间实现更灵活、个性化的交互铺平了道路。
什么是 EMG？
Apple 在其机器学习研究博客上发布了一项新研究，EMBridge: Enhancing Gesture Generalization from EMG Signals through Cross‑Modal Representation Learning。该工作将在四月的 ICLR 2026 Conference 上进行展示。
快速入门：EMG
- EMG（Electromyography） 用于测量肌肉收缩时产生的电活动。
- 应用 范围包括医学诊断、物理治疗、假肢控制、可穿戴设备以及 AR/VR 交互等。
示例： Meta 的 Ray‑Ban Display 眼镜使用一种 “Neural Band”（腕戴设备），它“解释你的肌肉信号以导航 Meta Ray‑Ban Display 的功能”。
研究中使用的数据集
| 数据集 | 描述 | 关键统计 |
|---|---|---|
| emg2pose | 大规模开源 EMG 数据集，包含同步的手部姿态数据。 | • 370 小时的表面肌电（sEMG） • 193 名同意参与的用户 • 29 个行为组（离散和连续动作） • 超过 80 M 条姿态标签 • 每个手势类别 4 次记录会话（不同的 EMG 带放置位置） • 2 秒不重叠窗口作为输入 |
| NinaPro DB2 | 用于预训练的配对 EMG‑姿态数据。 | • 40 位受试者 • 49 种手部手势（指屈、功能抓取、组合动作） • 12 个前臂电极，采样率 2 kHz • 手部运动学由数据手套捕获 |
| NinaPro DB7（用于下游分类） | 与 DB2 使用相同的设备和手势集合，但采集自 20 名未截肢的受试者。 | • 手势分类的评估集 |
处理细节（emg2pose）： EMG 进行实例归一化，带通滤波（2–250 Hz），并在 60 Hz 处进行陷波滤波。
为什么 EMBridge 很重要
该研究表明，EMBridge 有望让 佩戴在手腕的设备（例如未来的 Apple Watch 机型或智能眼镜）实现：
- 持续从 EMG 信号中推断手势。
- 驱动 VR/AR 中的虚拟化身。
- 控制假肢或机器人手。
“我们框架的一个潜在实际应用是可穿戴的人机交互。在 VR/AR 和假肢控制等场景中，手腕佩戴的设备必须持续从 EMG 推断手势，以驱动虚拟化身或机器人手。” – Apple 研究团队
在实际应用中，这可能会开启全新的交互方式，提升可访问性，并扩展 Apple 可穿戴设备生态系统（Apple Vision Pro、Mac、iPhone 以及传闻中的智能眼镜）。
论文本身并未提及任何具体的即将推出的 Apple 产品，但该技术显然为 Apple 硬件阵容提供了更丰富的、基于 EMG 的用户体验铺平了道路。
Source:
什么是 EMBridge？
EMBridge 弥合了真实的 EMG 肌肉信号与结构化手势姿态数据之间的鸿沟。其训练流程包括：
- 预训练：分别对 EMG 数据和手势姿态数据进行预训练。
- 对齐：对两种表征进行对齐，使 EMG 编码器能够从姿态编码器中学习。
- 遮蔽姿态重建：将部分姿态数据隐藏，模型必须仅凭 EMG 信息进行重建。
软目标训练
为降低因相似手势被视为负例而导致的错误，作者引入了 软目标，其作用是：
- 构造表征空间的结构
- 提升对未见手势的泛化能力
评估
EMBridge 在两个基准 emg2pose 与 NinaPro 上进行评估，并始终优于现有方法——尤其是在零样本（从未见过的）手势识别方面——且仅使用 40 % 的训练数据。
局限性
- 该模型依赖于同时包含 EMG 信号和同步手势姿态数据 的数据集，而这类数据集的采集往往困难且成本高昂。
- 尽管如此，在 EMG 基于设备控制日益受到关注的背景下，这项研究仍具有重要意义。
欲了解完整技术细节——包括 Q‑Former、MPRL 与 CASCLe 组件——请阅读原始论文。
值得在亚马逊上查看
- David Pogue 的 Apple: The First 50 Years
- Logitech MX Master 4
- AirPods Pro 3
- AirTag（第二代）– 4 件装
- Apple Watch Series 11
- 无线 CarPlay 适配器
FTC：我们使用可产生收入的自动联盟链接。 更多信息