[논문] GesVLA: 제스처 인식 비전·언어·액션 모델 임베디드 표현

Source: arXiv - 2605.22812v1

Overview

이 논문은 GesVLA라는 새로운 Vision‑Language‑Action (VLA) 프레임워크를 소개한다. 이 프레임워크는 로봇 조작을 위한 기존 텍스트‑전용 명령에 손 제스처 정보를 추가한다. 제스처 정보를 모델의 잠재 공간에 직접 삽입함으로써, 시스템은 복잡한 장면에서도 인간이 가리키는 객체를 명확히 구분할 수 있어 인간‑로봇 상호작용의 신뢰성과 속도가 크게 향상된다.

Key Contributions

• 제스처 인식 VLA 아키텍처: 제스처 임베딩을 언어 및 시각 특징과 긴밀히 결합하는 이중 VLM 설계를 도입하여 공동 추론 및 행동 생성이 가능하도록 한다.
• 확장 가능한 제스처 데이터 파이프라인: 실제 장면 이미지에 사실적인 손 모델을 렌더링해 시각적 충실도를 유지하면서 다양한 가리키는 제스처와 정밀한 라벨을 제공하는 합성 학습 데이터를 생성한다.
• 두 단계 학습 전략: 먼저 제스처 인식을 위한 사전 학습을 수행하고, 이후 행동 예측을 위해 미세 조정함으로써 정확한 제스처 기반 정합과 견고한 조작 정책을 동시에 확보한다.
• 포괄적인 실세계 평가: 제어된 블록 쌓기, 제품 선택, 농산물 집기 시나리오 전반에 걸쳐 목표 정합 정확도와 작업 완료 속도에서 일관된 향상을 입증한다.
• 오픈소스 공개: 코드, 사전 학습 체크포인트, 데모 페이지를 제공하여 커뮤니티가 연구를 재현하고 확장할 수 있도록 한다.

Methodology

1. Input Fusion

   • 로봇은 작업 공간의 RGB 이미지, 텍스트 명령(예: “빨간 사과를 집어라”), 그리고 천장 카메라가 포착한 2‑D 손 제스처 이미지라는 세 가지 스트림을 받는다.
   • 각 스트림은 자체 Vision‑Language Model (VLM)로 인코딩된다: 하나는 이미지 + 텍스트용, 다른 하나는 이미지 + 제스처용. 두 잠재 벡터를 연결한 뒤 공유 트랜스포머 디코더에 입력해 다음 로봇 행동(그립 포즈, 궤적 등)을 예측한다.

2. Gesture Data Generation

   • 파라메트릭 3‑D 손 모델을 애니메이션화해 다양한 가리키는 제스처를 만든다.
   • 손 메쉬를 실제 장면 사진에 깊이‑인식 합성을 통해 렌더링해 조명과 가림 현상을 보존한다.
   • 각 합성 프레임은 손이 가리키는 정확한 목표 객체 라벨을 자동으로 부여받아, 대규모 저비용 데이터셋을 만든다.

3. Training Pipeline

   • Stage 1 – Gesture Perception: 합성 데이터셋을 이용해 제스처 이미지를 목표 객체 히트맵으로 매핑하도록 모델을 학습한다.
   • Stage 2 – Action Prediction: 사전 학습된 인코더를 실제 로봇 시연 데이터(텍스트 + 제스처 명령)에서 미세 조정한다. 손실 함수는 목표 정합 오류와 로봇 움직임에 대한 모방 학습 손실을 결합한다.

4. Inference

   • 실행 시, 이중 VLM을 한 번의 순전파로 통과시켜 정합된 객체 위치와 해당 조작 궤적을 동시에 출력함으로써 저지연 상호작용을 가능하게 한다.

Results & Findings

• 정합 정확도: 제스처를 추가함으로써 유사한 객체 간 오인식이 지속적으로 감소했다.
• 상호작용 효율: 사용자는 로봇이 명확히 목표를 파악하므로 확인 절차가 줄어들어 작업을 더 빠르게 완료했다.
• 복잡한 장면에 대한 강인성: 텍스트만으로는 모호했던 밀집된 환경에서 성능 향상이 가장 크게 나타났다.

Practical Implications

• 향상된 HRI 인터페이스: 개발자는 자연스러운 가리키기 제스처를 이해하는 로봇 어시스턴트를 구축할 수 있어, 정밀한 음성 명령이나 UI 선택의 필요성이 감소한다.
• 데이터 수집 비용 절감: 합성 제스처 파이프라인은 실제 제스처에 대한 손‑라벨링 작업을 없애, 물류 픽킹, 주방 어시스턴트 등 새로운 도메인으로 확장하기 쉽게 만든다.
• 플러그‑인 모듈: 이중 VLM 설계는 기존 VLA 스택(RT‑1, SayCan 등)에 최소한의 구조 변경만으로 통합될 수 있어, 즉시 목표 정합 능력을 향상시킨다.
• 안전 및 규정 준수: 작동 전에 목표를 명시적으로 정합함으로써 로봇이 의도하지 않은 객체와 충돌하는 위험을 줄여, 협동 로봇(cobot)에게 필수적인 공유 작업 공간에서의 안전성을 확보한다.

Limitations & Future Work

• Sim‑to‑real 제스처 격차: 렌더링 파이프라인이 시각적 차이를 크게 줄였지만, 피부톤, 악세서리 등 미세한 손 외형 차이는 실제 환경에서 인식 성능에 영향을 줄 수 있다.
• 단일 시점 제약: 현재 시스템은 손을 명확히 볼 수 있는 천장 카메라를 전제로 하며, 로봇 팔이나 다른 물체에 가려지면 성능이 저하된다.
• 3‑D 제스처 확장성: 2‑D 가리키기 제스처만 다루었으며, 전체 3‑D 손 자세(예: 잡는 신호)로 확장하면 지시 모달리티를 더욱 풍부하게 만들 수 있다.
• 사용자 연구 부족: 논문은 로봇 성능 지표는 제시하지만, 사용성 및 사용자 만족도에 대한 인간 피험자 실험은 충분히 다루지 않았다.

향후 연구 방향으로는 다중 카메라 융합을 통한 견고한 제스처 캡처, 실제 손 데이터에 대한 도메인 적응 미세 조정, 그리고 “멈춰”, “회전”과 같은 상징적 제스처를 포함한 제스처 어휘 확장이 있다.

GesVLA는 언어와 제스처를 결합한 지시를 로봇이 보다 인간처럼 이해하도록 하는 실용적인 경로를 열어, 일상 환경에서 자동화가 더 부드럽고 안전하며 직관적으로 이루어지도록 한다.

Authors

• Wenxuan Guo
• Ziyuan Li
• Meng Zhang
• Yichen Liu
• Yimeng Dong
• Chuxi Xu
• Yunfei Wei
• Ze Chen
• Erjin Zhou
• Jianjiang Feng

Paper Information

• arXiv ID: 2605.22812v1
• Categories: cs.RO, cs.CV
• Published: May 21, 2026
• PDF: Download PDF