손목 밴드가 착용자에게 자신의 움직임으로 로봇 손을 제어하게 합니다

Source: MIT News - AI

번역할 텍스트를 제공해 주시면, 요청하신 대로 한국어로 번역해 드리겠습니다.

Source: …

Hand Dexterity Meets Ultrasound

다음에 휴대폰을 스크롤할 때, 그 행위가 얼마나 대단한 일인지 잠시 생각해 보세요. 겉보기엔 평범해 보이지만, 손에 있는 34개의 근육, 27개의 관절, 그리고 100개가 넘는 힘줄과 인대가 협력해야 가능한 일입니다. 실제로 우리의 손은 몸에서 가장 섬세한 부위이며, 그 다양한 미세 동작을 모방하는 일은 로봇공학과 가상현실 분야에서 오랫동안 큰 도전 과제였습니다.

MIT 엔지니어들은 초음파 손목 밴드를 설계했습니다. 이 밴드는 착용자의 손 움직임을 실시간으로 정밀하게 추적합니다. 손이 움직일 때 손목의 근육, 힘줄, 인대를 초음파 영상으로 촬영하고, 인공지능 알고리즘이 이 영상을 지속적으로 분석해 다섯 손가락과 손바닥의 위치를 추정합니다.

연구진은 이 손목 밴드가 착용자의 손 동작을 학습하도록 훈련시킬 수 있으며, 장치는 로봇이나 가상 환경에 실시간으로 그 정보를 전달할 수 있습니다.

Demonstrations

• 손목 밴드를 착용한 사람이 무선으로 로봇 손을 제어할 수 있습니다. 사용자가 제스처를 취하거나 손가락을 가리키면 로봇도 동일하게 움직입니다.
• “무선 마리오네트” 인터랙션에서, 착용자는 로봇을 이용해 피아노에서 간단한 멜로디를 연주하거나 작은 농구공을 책상 위 후프에 넣을 수 있습니다.
• 같은 손목 밴드를 사용해 착용자는 컴퓨터 화면상의 객체를 조작할 수 있습니다—예를 들어, 손가락을 오므려 가상 객체를 확대하거나 축소하는 식입니다.

팀은 현재 다양한 손 크기, 손가락 형태, 제스처를 가진 더 많은 사용자들로부터 손 움직임 데이터를 수집하고 있습니다. 이 데이터를 활용해 인간형 로봇이 외과 수술과 같은 섬세한 작업을 수행하도록 훈련시키는 등, 대규모 데이터셋을 구축하는 것이 목표입니다. 초음파 밴드는 또한 비디오 게임, 디자인 애플리케이션, 기타 가상 환경에서 물체를 잡고, 조작하고, 상호작용하는 데 활용될 수 있습니다.

“우리는 이 연구가 가상 및 증강 현실에서 착용형 초음파 밴드로 손 추적 기술을 대체할 수 있는 즉각적인 영향을 미칠 것이라고 생각합니다,” 라고 MIT 기계공학부 Uncas 및 Helen Whitaker 교수인 Xuanhe Zhao가 말했습니다. “이는 섬세한 인간형 로봇을 위한 방대한 훈련 데이터를 제공할 수도 있습니다.”

Zhao, Gengxi Lu 및 그 동료들은 오늘 Nature Electronics에 게재된 논문에서 손목 밴드의 새로운 설계를 발표했습니다. MIT 공동 저자는 전 포스트닥터 Xiaoyu Chen, Shucong Li, Bolei Deng, 대학원생 Seong‑Hyeon Kim 및 Dian Li, 포스트닥터 Shu Wang와 Runze Li, 그리고 MIT 부총장 겸 Vannevar Bush 전기·컴퓨터공학 교수 Anantha Chandrakasan입니다. 기타 공동 저자로는 대학원생 Yushun Zheng, Junhang Zhang, Baoqiang Liu, Chen Gong, 그리고 서던캘리포니아 대학교 교수 Qifa Zhou가 포함됩니다.

문자열 보기

현재 인간 손의 섬세함을 로봇에 포착하고 모방하기 위한 여러 접근 방식이 존재합니다:

1. Camera‑based systems는 사람이 물체를 조작하거나 작업을 수행할 때 손 움직임을 기록합니다.
2. Sensor‑laden gloves는 손 움직임을 기록하고 데이터를 수신 로봇에 전송합니다.
3. **Electromyography (EMG)**는 손목이나 전완 근육의 전기 신호를 이용해 특정 손 움직임과 연관시킵니다.

복잡한 카메라 설정은 실용성이 떨어지고 시각적 장애에 취약하며, 장갑은 자연스러운 손 동작과 감각을 제한할 수 있습니다. EMG 신호는 환경 잡음에 쉽게 영향을 받고 미세한 변화를 구분하는 데 민감도가 부족합니다—예를 들어 엄지와 집게손가락이 함께 꼬집히는지 혹은 벌어지는지는 판별할 수 있지만, 그 사이의 미묘한 경로는 구분하지 못합니다.

Zhao 팀은 초음파 영상이 보다 섬세하고 연속적인 손 움직임을 포착할 수 있을지 궁금해했습니다. 그들은 의사 사무실에서 사용되는 트랜스듀서의 소형화 버전인 초음파 스티커를 개발해 왔으며, 피부에 안전하게 부착할 수 있는 하이드로젤 소재와 결합했습니다. 이번 새로운 연구에서 팀은 이 스티커 디자인을 착용 가능한 손목 밴드에 통합하여 손목의 근육과 힘줄을 지속적으로 영상화했습니다.

“손목의 힘줄과 근육은 마치 당신의 손가락인 인형을 끄는 끈과 같습니다,” 라고 Gengxi Lu가 말합니다. “그래서 아이디어는 이렇습니다: 끈의 상태를 사진으로 찍을 때마다 손의 상태를 알 수 있게 되는 것이죠.”

매핑 조작

팀은 스마트워치 크기의 초음파 스티커와 휴대폰만큼 작은 온보드 전자부품을 장착한 손목 밴드를 설계했습니다. 이 손목 밴드를 자원봉사자의 손목에 부착하고, 자원봉사자가 다양한 손동작으로 손가락을 움직이는 동안 장치가 손목의 선명하고 연속적인 영상을 생성함을 확인했습니다.

그 다음 과제는 흑백 초음파 이미지와 손의 특정 위치를 연결하는 것이었습니다. 손가락과 엄지는 22개의 자유도(다양한 신전 및 각도)를 가집니다. 연구진은 초음파 이미지에서 각각의 자유도와 상관관계가 있는 특정 영역을 식별했으며, 예를 들어 한 영역의 변화는 엄지 신전에, 다른 영역의 변화는 검지 움직임에 대응합니다.

이러한 연결을 구축하기 위해, 손목 밴드를 착용한 자원봉사자는 다양한 자세로 손을 움직였고, 연구진은 자원봉사자를 둘러싼 여러 카메라로 제스처를 기록했습니다. 초음파 이미지의 특정 영역 변화와 카메라가 기록한 손 위치를 매칭함으로써, 팀은 손목 이미지 영역에 해당 손의 자유도를 라벨링할 수 있었습니다.

이를 지속적이고 실시간으로 변환하기 위해, 원시 초음파 프레임을 입력으로 받아 22차원 손 자세 벡터를 출력하는 딥러닝 모델을 학습시켰습니다. 이 모델은 손목 밴드의 온보드 프로세서에서 실행되어 무선, 저지연 제어를 로봇이나 가상 아바타에 구현합니다.

손목 초음파 밴드를 이용한 손 동작 추적

개요

팀은 손목에 부착된 센서만으로 손 동작을 추적하는 어려움을 극복하기 위해 인공지능을 활용했습니다. 특정 손 자유도와 연관된 초음파 영상 패턴을 인식하도록 AI 알고리즘을 학습시켜, 손목 수준의 영상을 통해 손 동작을 예측할 수 있는 시스템을 만들었습니다.

방법

1. 데이터 수집

   • 자원봉사자가 다양한 손 동작을 수행하는 동안 손목의 초음파 영상을 촬영했습니다.
   • 각 영상은 해당 자유도와 연결된 영역을 꼼꼼히 라벨링했습니다.

2. 모델 학습

   • 라벨이 붙은 초음파 데이터셋을 이용해 AI 알고리즘을 학습시켜, 영상 패턴과 손 동작 사이의 상관관계를 파악하도록 했습니다.

3. 테스트

   • 학습된 모델을 새로운 초음파 영상 집합에 적용해, 해당 손 동작을 정확히 예측하는지 평가했습니다.

자원봉사자 연구

• 참가자: 손과 손목 크기가 다양한 8명의 자원봉사자.
• 과제:
  • 미국 수화(ASL)의 26자 전부를 포함한 다양한 손 동작 및 잡기를 수행.
  • 테니스 공, 플라스틱 병, 가위, 연필 등 물체를 잡음.
• 결과: 손목 밴드는 모든 과제에서 손 위치를 일관되고 정밀하게 추적·예측했습니다.

시연된 응용 분야

1. 컴퓨터 인터랙션

   • 간단한 프로그램을 손목 밴드와 무선으로 페어링.
   • 집게 및 잡기 동작을 확대·축소 명령 및 화면상의 객체를 부드럽고 연속적으로 조작하는 동작으로 변환.

2. 로봇 손 제어

   • 손목 밴드가 상용 로봇 손의 무선 컨트롤러 역할을 수행.
   • 자원봉사자가 “키보드 연주”를 하면 로봇이 실시간으로 동작을 모방해 간단한 피아노 멜로디를 연주.
   • 로봇은 손가락 탭 동작을 재현해 데스크톱 농구 게임도 플레이.

향후 방향

• 소형화: 손목 밴드 하드웨어의 크기를 더욱 축소.
• 학습 데이터 확대: 손 크기와 형태가 다양한 더 많은 자원봉사자를 포함해 제스처와 움직임을 확장.
• 목표: 고급스러운 손재주를 갖춘 인간형 로봇이나 가상 객체를 무선으로 조작할 수 있는 보편적인 착용형 손 추적기 개발.

“우리는 손목의 착용형 영상을 통해 섬세한 손 동작을 추적하는 가장 진보된 방법이라고 믿습니다,” 라고 Zhao가 말했습니다.
“이 착용형 초음파 밴드가 가상 현실 및 로봇 손을 위한 직관적이고 다재다능한 제어를 제공할 수 있을 것이라 생각합니다.”

감사의 글

이 연구는 다음 기관들의 지원을 부분적으로 받았습니다:

• MIT
• 미국 국립보건원(NIH)
• 미국 국립과학재단(NSF)
• 미국 국방부(DoD)
• 싱가포르 국가연구재단(NRF) – 싱가포르‑MIT 연구·기술 협력(SMART)