[Paper] 使用智能手表进行实时多模态数据采集及其在教育中的可视化

Source: arXiv - 2512.02651v1

Overview

本文介绍了 Watch‑DMLT，一款用于 Fitbit Sense 2 智能手表的实时数据采集应用，以及 ViSeDOPS，一个基于网页的仪表盘，用于可视化课堂活动期间同步的多模态数据流。通过同时从多达 16 台设备收集生理、运动、视线、视频和标注数据，作者展示了一个可在日常教育环境中部署的可扩展多模态学习分析（MLA）流水线。

Key Contributions

• Watch‑DMLT：开源 Android 应用，可将心率、加速度计、陀螺仪以及可选的视线数据从多部智能手表以亚秒级延迟流式传输到中心服务器。
• ViSeDOPS：交互式可视化套件（时间线、热图、视频叠加），将多模态数据流与教师提供的标注对齐，实现快速的探索性分析。
• 端到端部署：在 65 名大学生（最多 16 块手表同时使用）进行口头报告的现场试验，证明系统在真实课堂中的鲁棒性。
• 数据模式与同步协议：轻量级 JSON 格式和基于 NTP 的时钟对齐，使所有数据流在时间上保持一致，无需繁重的基础设施。
• 开放资源：代码、文档和示例数据集在 MIT 兼容许可证下发布，鼓励复现和扩展。

Methodology

1. 硬件与传感器 – 参与者佩戴 Fitbit Sense 2 设备，提供心率（PPG）、三轴加速度计、陀螺仪，以及在与外部眼动仪配对时的视线坐标。
2. 软件栈 –
   • Watch‑DMLT 在手表上运行，将传感器读取数据批处理为 200 ms 包，并通过蓝牙推送到配套的 Android 手机。
   • 手机通过 WebSocket 将数据包转发至云端 Node.js 服务器，服务器使用 NTP 同步的时钟为每个数据包打时间戳。
3. 标注层 – 教师使用简易网页表单标记事件（如“提出问题”“给出反馈”），这些时间戳在服务器上与传感器数据流合并。
4. 可视化 – ViSeDOPS 读取统一的 JSON 日志，渲染同步时间线、每位学生的运动强度热图，以及将演示视频与实时生理轨迹叠加的分屏视图。
5. 评估 – 在多次课堂中测量系统的延迟、丢包率和电池影响；并收集学生和教师关于可用性与洞察力的定性反馈。

Results & Findings

• 低延迟与高保真 – 平均端到端延迟约 ≈ 350 ms，即使在 16 块手表同时流式传输时，丢包率也低于 2 %。
• 电池续航 – 单次 48 小时充电可支撑完整的 2 小时课堂连续数据采集，证实了对典型讲课时长的可行性。
• 洞察生成 – 可视化分析揭示出明确的生理特征（如心率峰值、运动增加），这些特征与观众提问和演讲者压力时刻相对应。
• 可扩展性 – 服务器能够处理高达 200 Hz 的聚合采样率而不出现性能下降，表明该流水线可支持更大规模的群体或更丰富的传感器组合。
• 用户接受度 – 87 % 的学生认为智能手表“无侵入感”，教师则强调仪表盘能够实时定位参与度瓶颈的能力。

Practical Implications

• 实时反馈回路 – 教师可以实时监测全班的情感状态，从而在压力峰值出现时进行即时干预（如暂停解释）。
• 自动化分析流水线 – 开发者可将开源的 Watch‑DMLT 接入现有学习管理系统（LMS），为分析仪表盘添加生理上下文。
• 教育之外的应用 – 同样的架构可用于企业培训、远程研讨会或任何需要大规模量化多模态人机交互的场景。
• 快速原型 – 由于系统依赖商品化智能手表和标准网页技术，团队可以在无需定制硬件或昂贵数据中心的情况下快速搭建新的 MLA 研究。
• 隐私‑设计 – 数据在设备端匿名化后再传输，开放的模式使得集成同意管理工具变得简便。

Limitations & Future Work

• 传感器多样性 – 当前实现仅限于 Fitbit Sense 2；若要扩展到其他可穿戴设备（Apple Watch、Garmin），需额外开发 SDK 包装层。
• 视线捕获 – 准确的眼动追踪仅在外部设备上演示，如何在手表上集成摄像头或低成本眼动仪仍是待解难题。
• 长期研究 – 本文仅报告单学期的部署；需要进行跨课程、不同人群的纵向验证，以评估其普适性。
• 自动推断 – 未来工作可在服务器端嵌入机器学习模型，实现自动检测参与模式，降低对手工标注的依赖。
• 边缘处理 – 将部分预处理（如特征提取）迁移至智能手表，可进一步降低带宽需求并提升隐私保护。

Authors

• Alvaro Becerra
• Pablo Villegas
• Ruth Cobos

Paper Information

• arXiv ID: 2512.02651v1
• Categories: cs.HC, cs.CV, cs.SE
• Published: December 2, 2025
• PDF: Download PDF