[Paper] Generate, Transfer, Adapt: 단일 인간 시연을 통한 Functional Dexterous Grasping 학습

Source: arXiv - 2601.05243v1

번역할 텍스트를 제공해 주시면 한국어로 번역해 드리겠습니다.

Overview

단 하나의 인간 시연만으로도 숙련된 로봇 손이 다양한 물체들을 기능적으로 잡을 수 있게 가르칠 수 있습니다. 이 논문은 CorDex라는 파이프라인을 소개하는데, 이는 하나의 시연으로부터 풍부한 학습 데이터를 합성하고, 다중모달 그립 예측기를 학습하며, 보지 못한 물체에 대해서도 신뢰할 수 있는 기능적 그립을 제공함으로써 현실 세계 데이터가 부족한 상황과 로봇 조작에서 요구되는 의미‑기하학적 추론 사이의 격차를 메워줍니다.

Source: …

주요 기여

• Correspondence‑based data engine: 단일 인간 손잡이에서 다양한 합성 객체를 생성하고, 형태 대응을 통해 전문가 손잡이를 전달하며, 최적화를 통해 이를 정제합니다.
• Multimodal prediction network: 새로운 로컬‑글로벌 융합 모듈을 통해 시각(RGB‑D) 및 기하학(포인트‑클라우드) 단서를 결합합니다.
• Importance‑aware sampling: 추론 과정에서 영향력이 큰 접촉 영역을 우선시하여 계산량을 줄이면서 정확성을 유지합니다.
• One‑shot learning: 전체 객체 카테고리에 대한 기능적 정교한 손잡이를 단 하나의 인간 시연만으로 학습할 수 있음을 보여줍니다.
• State‑of‑the‑art performance: 시뮬레이션 및 실제 로봇 실험 모두에서 여러 벤치마크 카테고리의 기존 기능적 잡기 방법들을 능가합니다.

방법론

1. 단일 데모에서 데이터 생성

   • 인간은 단일 기능적 그립(예: 손잡이로 머그를 잡는 경우)을 제공한다.
   • 절차적 생성기는 동일한 의미 범주에 속하는 많은 합성 객체(다양한 머그 형태, 크기 및 질감)를 만든다.
   • 각 합성 객체에 대해 correspondence estimator가 그 형상을 시연된 객체와 정렬하여 손 자세를 새로운 형태에 전달한다.
   • optimization step은 손가락 관절 각도를 미세 조정하여 침투를 해소하고 그립 안정성을 향상시켜, 고품질 라벨링 데이터셋(객체 메쉬 + 기능적 그립)을 만든다.

2. 그립 예측기 학습

   • 입력: 대상 객체의 RGB‑D 이미지 + 표면의 샘플링된 포인트 클라우드.
   • Local‑global fusion module은 세밀한 로컬 특징(예: 손잡이 곡률)을 추출하고 이를 전역 컨텍스트(객체 카테고리, 전체 형태)와 결합한다.
   • 네트워크는 후보 손 자세 집합을 출력하고, importance‑aware sampler가 예측된 기능적 관련성에 따라 순위를 매겨 가장 유망한 후보만 평가하도록 한다.

3. 새로운 객체에 대한 추론

   • 새로운, 보지 못한 객체가 주어지면, 모델은 실시간으로 기능적이고 섬세한 그립을 예측한다. 이 그립은 짧은 운동학 검증 후 로봇 손(예: Shadow Hand, Allegro Hand)에서 바로 실행될 수 있다.

결과 및 발견

• Generalization: 단일 데모에서 파생된 약 2 k개의 합성 그립으로 학습한 CorDex는 카테고리당 10개의 보지 않은 객체(머그, 가위, 망치 등)에서 85 % 이상의 성공률을 달성했으며, 가장 강력한 베이스라인은 60–70 % 수준에 머물렀습니다.
• Efficiency: 중요도 기반 샘플러는 성공률 저하 없이 추론 시간을 전체 후보 집합 기준 약 120 ms에서 약 35 ms로 단축시켜 거의 실시간 운영을 가능하게 했습니다.
• Ablation studies는 대응 기반 데이터 엔진과 로컬‑글로벌 융합 모듈이 각각 전체 성능 향상에 약 10–12 %씩 기여한다는 것을 확인했습니다.
• Real‑world validation: UR5 팔에 장착된 물리적 Shadow Hand에서 시스템은 조명 및 물체 질감 변화에도 불구하고 머그에서 붓는 행위, 가위로 자르는 행위 등 기능적 작업을 80 % 이상의 시도에서 성공적으로 수행했습니다.

Practical Implications

• Rapid prototyping of robot skills: 개발자는 단 하나의 인간 시연만으로 새로운 도구 클래스에 대한 기능적 그립을 초기화할 수 있어 데이터 수집 시간을 크게 단축합니다.
• Scalable tool‑use libraries: 제조 또는 물류 로봇은 수작업 라벨링을 전부 수행하지 않고도 조작 가능한 객체의 레퍼토리를 확장할 수 있습니다—몇 개의 인간 시연을 제공하면 CorDex가 나머지를 합성합니다.
• Integration with existing pipelines: 다중모달 예측기는 ROS 기반 조작 스택에 바로 삽입될 수 있으며, 충돌 검사와 궤적 생성을 이미 수행하는 모션 플래너에 그립 포즈를 전달합니다.
• Cost‑effective simulation‑to‑real transfer: 실제 인간 그립을 기반으로 한 합성 데이터를 활용함으로써, 데이터셋 생성에 필요한 고가의 텔레오퍼레이션이나 모션 캡처 장비에 대한 의존도를 낮춥니다.

제한 사항 및 향후 작업

• 시뮬레이션 정확도: 합성 객체는 절차적으로 생성되며, 매우 불규칙하거나 변형 가능한 물체(예: 부드러운 천)는 여전히 어려움을 겪는다.
• 단일 시연 편향: 많은 카테고리에서 효과적이지만, 이 방법은 인간 시연이 핵심 기능적 접촉을 포착한다고 가정한다; 애매한 작업은 여러 시연이 필요할 수 있다.
• 하드웨어 제약: 현재 구현은 고자유도(High‑DOF) 인간형 손을 목표로 하며, 보다 단순한 그리퍼에 적용하려면 대응 전송 단계의 재설계가 필요할 수 있다.
• 향후 방향: 저자들이 제시한 향후 방향으로는 변형 가능한 물체를 처리하도록 대응 엔진을 확장하고, 폐쇄‑루프 정제를 위해 촉각 피드백을 통합하며, 단일 그립을 넘어 다단계 조작 시퀀스를 학습하도록 프레임워크를 확장하는 것이 있다.

저자

• Xingyi He
• Adhitya Polavaram
• Yunhao Cao
• Om Deshmukh
• Tianrui Wang
• Xiaowei Zhou
• Kuan Fang

논문 정보

• arXiv ID: 2601.05243v1
• 카테고리: cs.RO, cs.CV
• 출판일: 2026년 1월 8일
• PDF: PDF 다운로드