[Paper] 실시간 멀티모달 데이터 수집 및 Smartwatches 활용 교육 시각화

Source: arXiv - 2512.02651v1

Overview

이 논문은 Fitbit Sense 2 스마트워치를 위한 실시간 데이터 캡처 앱 Watch‑DMLT와 교실 활동 중에 수집된 동기화된 다중 모달 스트림을 시각화하는 웹 기반 대시보드 ViSeDOPS를 소개한다. 생리학적 데이터, 움직임, 시선, 비디오 및 주석 데이터를 최대 16개의 장치에서 동시에 결합함으로써, 저자들은 일상적인 교육 환경에 배치할 수 있는 확장 가능한 다중 모달 학습 분석(MLA) 파이프라인을 입증한다.

Key Contributions

• Watch‑DMLT: 여러 스마트워치에서 심박수, 가속도계, 자이로스코프 및 선택적 시선 데이터를 초당 1초 미만의 지연으로 중앙 서버에 스트리밍하는 오픈소스 Android 앱.
• ViSeDOPS: 타임라인, 히트맵, 비디오 오버레이 등을 제공하는 인터랙티브 시각화 스위트로, 교사가 제공한 주석과 다중 모달 스트림을 정렬하여 빠른 탐색적 분석을 가능하게 함.
• End‑to‑end deployment: 구두 발표 중 65명의 대학생(동시 최대 16개 시계)에게 현장 시험을 진행하여 실제 교실에서 시스템의 견고함을 증명.
• Data schema & synchronization protocol: 경량 JSON 기반 포맷과 NTP 기반 시계 정렬을 사용해 모든 스트림을 무거운 인프라 없이 시간적으로 일관되게 유지.
• Open resources: 코드, 문서 및 샘플 데이터셋을 MIT 호환 라이선스로 공개하여 재현 및 확장을 장려.

Methodology

1. Hardware & Sensors – 참가자들은 심박수(PPG), 3축 가속도계, 자이로스코프를 제공하고 외부 눈 추적기와 연결 시 시선 좌표를 제공하는 Fitbit Sense 2 장치를 착용하였다.
2. Software Stack –
   • Watch‑DMLT는 시계에서 실행되며 센서 판독값을 200 ms 패킷으로 묶어 블루투스를 통해 동반 Android 폰으로 전송한다.
   • 폰은 WebSocket을 사용해 패킷을 클라우드에 호스팅된 Node.js 서버로 전달하고, 서버는 NTP 동기화된 시계를 이용해 각 패킷에 타임스탬프를 부여한다.
3. Annotation Layer – 강사는 간단한 웹 양식을 사용해 “질문 제기”, “피드백 제공” 등 이벤트에 태그를 달며, 이러한 타임스탬프는 서버에서 센서 스트림과 병합된다.
4. Visualization – ViSeDOPS는 통합된 JSON 로그를 소비해 동기화된 타임라인, 학생별 움직임 강도 히트맵, 발표 비디오와 실시간 생리학적 트레이스를 겹친 분할 화면을 렌더링한다.
5. Evaluation – 여러 세션에 걸쳐 시스템의 지연, 패킷 손실, 배터리 영향을 측정했으며, 학생 및 강사로부터 사용성 및 통찰력에 대한 정성적 피드백을 수집하였다.

Results & Findings

• Low latency & high fidelity – 평균 엔드‑투‑엔드 지연은 ≈ 350 ms였으며, 16개의 시계가 동시에 스트리밍할 때도 패킷 손실은 2 % 미만이었다.
• Battery endurance – 48시간 충전으로 2시간 수업 전체를 연속 데이터 캡처할 수 있어 일반 강의 길이에 대한 실현 가능성을 확인했다.
• Insight generation – 시각적 분석을 통해 청중 질문 및 발표자 스트레스 순간에 맞춰 심박수 급증, 움직임 증가와 같은 명확한 생리학적 서명이 나타남을 확인했다.
• Scalability – 서버는 200 Hz의 총 샘플링 속도를 손실 없이 처리했으며, 이는 더 큰 규모의 집단이나 풍부한 센서 스위트도 지원 가능함을 시사한다.
• User acceptance – 87 %의 학생이 스마트워치를 “비침습적”이라고 평가했으며, 강사는 대시보드가 실시간으로 참여 병목을 정확히 짚어주는 점을 강조했다.

Practical Implications

• Real‑time feedback loops – 교육자는 전체 클래스의 정서 상태를 실시간으로 모니터링하여 스트레스가 급증할 때 설명을 멈추는 등 적응형 개입이 가능해진다.
• Automated analytics pipelines – 개발자는 오픈소스 Watch‑DMLT를 기존 학습 관리 시스템(LMS)에 연결해 생리학적 컨텍스트를 포함한 분석 대시보드를 강화할 수 있다.
• Beyond education – 동일한 아키텍처는 기업 교육, 원격 워크숍, 혹은 대규모 인간‑컴퓨터 상호작용을 정량화해야 하는 모든 시나리오에 적용 가능하다.
• Rapid prototyping – 상용 스마트워치와 표준 웹 기술만으로 구성되므로, 맞춤형 하드웨어나 고가 데이터센터 없이도 새로운 MLA 연구를 빠르게 프로토타이핑할 수 있다.
• Privacy‑by‑design – 데이터는 전송 전 장치에서 익명화되며, 개방형 스키마 덕분에 동의 관리 도구와의 통합이 용이하다.

Limitations & Future Work

• Sensor diversity – 현재 구현은 Fitbit Sense 2에 종속되어 있어 Apple Watch, Garmin 등 다른 웨어러블로 확장하려면 추가 SDK 래퍼가 필요하다.
• Gaze capture – 정확한 눈 추적은 외부 장치를 통해서만 시연되었으며, 시계 내 카메라 혹은 저비용 눈 추적기 통합은 아직 해결되지 않은 과제이다.
• Long‑term studies – 본 논문은 한 학기 동안의 배치를 보고하므로, 여러 강좌와 다양한 인구통계학적 집단을 포함한 종단적 검증이 필요하다.
• Automated inference – 향후 서버에 머신러닝 모델을 내장해 자동으로 참여 패턴을 감지함으로써 수동 주석 의존도를 낮출 수 있다.
• Edge processing – 스마트워치에서 일부 전처리(예: 특징 추출)를 수행하면 대역폭을 더욱 절감하고 프라이버시를 향상시킬 수 있다.

Authors

• Alvaro Becerra
• Pablo Villegas
• Ruth Cobos

Paper Information

• arXiv ID: 2512.02651v1
• Categories: cs.HC, cs.CV, cs.SE
• Published: December 2, 2025
• PDF: Download PDF