[Paper] Tether: 자율 기능적 플레이와 Correspondence-Driven 궤적 워핑

Source: arXiv - 2603.03278v1

개요

이 논문은 Tether라는 프레임워크를 소개합니다. 이 프레임워크는 소수의 인간이 제공한 시연을 재사용함으로써 로봇이 자율적으로 “놀 수” 있게 합니다. 의미론적 키포인트 대응을 이용해 시연된 행동을 새로운 장면에 워핑함으로써, Tether는 다양한 가정 작업을 견고하게 수행하고 지속적으로 자체 학습 데이터를 생성하여 비용이 많이 드는 인간 감독의 필요성을 크게 줄입니다.

주요 기여

• Correspondence‑driven action warping: 의미 있는 키포인트(예: “핸들”, “버튼”)에 고정시켜 ≤10개의 소스 데모에서 행동을 새로운 장면으로 매핑하는 오픈‑루프 정책.
• Data‑efficient functional play loop: 비전‑언어 모델을 활용한 자체 지도 사이클(작업 선택 → 실행 → 평가 → 개선)으로 고품질 궤적을 자동 생성.
• Real‑world multi‑task deployment: 몇 개의 데모만으로 물리적 가정 환경에서 수시간에 걸친 자율 다중 객체 놀이를 달성한 최초 시스템.
• Closed‑loop policy improvement: 자체 수집한 놀이 데이터가 하위 모방 학습 정책의 성능을 지속적으로 향상시켜 인간이 수집한 데이터셋에 필적하는 전문가 수준 행동을 달성함을 입증.
• Scalable dataset generation: 추가 인간 라벨링 없이 1,000개 이상의 전문가 수준 궤적을 생성하여 대규모 로봇 학습 파이프라인의 문을 열음.

방법론

1. Demo Library & Keypoint Extraction – 로봇에 작은 시연 라이브러리(≤10)가 제공됩니다. 각 시연마다 비전‑언어 모델(예: CLIP 기반)이 의미론적 키포인트(객체 부위, 어포던스)를 식별합니다.
2. Correspondence Matching – 새로운 목표 장면에서 동일한 모델이 가장 잘 맞는 키포인트를 찾아 원본과 목표 사이에 기하학적 대응 관계를 설정합니다.
3. Trajectory Warping – 원래의 행동 시퀀스를 (스케일링, 회전, 이동) 변환하여 매칭된 키포인트에 맞추고, 이를 통해 로봇에서 직접 실행할 수 있는 오픈‑루프 정책을 생성합니다.
4. Autonomous Play Loop –
   • Task Selection: 로봇은 현재 장면을 기반으로 언어 모델에 질의하여 실행 가능한 작업을 선택합니다.
   • Execution: 변형된 궤적을 실행합니다.
   • Evaluation: 동일한 비전‑언어 모델을 사용해 시각적 피드백(예: 객체 상태 변화)으로 성공 여부를 판단합니다.
   • Improvement: 성공적인 실행은 새로운 시연으로 저장하고, 실패는 재샘플링 또는 정교화로 이어집니다.
5. Closed‑Loop Imitation Learning – 축적된 데이터셋을 이용해 시각 관찰을 입력으로 받고 행동을 출력하는 신경 정책을 학습시켜, 향후 작업에 대한 루프를 닫습니다.

Results & Findings

• 변동에 대한 강인성: Tether는 물체가 최대 30 cm의 위치 이동과 45° 회전 변화를 겪을 때도 성공했으며, 단순히 데모를 재생하는 경우 >80 %의 실패율을 보였습니다.
• 데이터 효율성: 5–10개의 데모만으로도 시스템은 7개의 가정 작업(예: 서랍 열기, 스위치 누르기)에서 1 000개 이상의 성공적인 궤적을 생성했습니다.
• 정책 개선: 자체 수집 데이터로 학습된 하위 폐쇄‑루프 모방 정책은 보류된 작업에서 92 %의 성공률을 달성했으며, 인간이 수집한 동일량의 데이터로 학습된 정책과 성능이 일치했습니다.
• 플레이 지속 시간: 로봇은 실제 주방과 유사한 환경에서 12 + 시간 이상 연속적으로 다중 작업을 자율적으로 수행했으며, 이는 낮은 데모 수 regime에서 최초의 사례입니다.

Practical Implications

• Rapid Prototyping for New Robots: 새 로봇을 위한 빠른 프로토타이핑: 엔지니어들은 노동 집약적인 데이터 수집 캠페인 대신 손으로 조정한 몇 개의 데모만으로 로봇의 능력을 초기화할 수 있다.
• Continuous Learning on Deployment: 배포 시 지속적인 학습: 가정이나 공장에 배치된 로봇은 유휴 시간에 “플레이”하면서 지속적으로 개선될 수 있어 개발자가 주기적으로 재학습할 필요가 감소한다.
• Lower Barrier for Custom Tasks: 맞춤 작업에 대한 장벽 감소: 최종 사용자는 원하는 동작의 예시 영상을 몇 개 제공하면 Tether가 새로운 객체 인스턴스로 확장하여 즉시 기술 습득을 가능하게 한다.
• Cost‑Effective Dataset Generation: 비용 효율적인 데이터셋 생성: 기업은 크라우드소싱 라벨링 비용을 들이지 않고도 대규모 고품질 모방 데이터셋을 축적할 수 있어 비전 기반 조작 연구를 가속화한다.

제한 사항 및 향후 작업

• 오픈 루프 의존성: 워핑 정책은 실행 중 예상치 못한 방해에 반응하지 않으며; 온라인 피드백을 통합하면 신뢰성을 향상시킬 수 있다.
• 키포인트 모호성: 의미론적 키포인트 감지는 심하게 가려지거나 텍스처가 없는 객체에서 실패할 수 있어 복잡한 장면에 적용이 제한된다.
• 작업 선택의 확장성: 현재 언어 모델 기반 작업 선택기는 제한된 사전 정의된 작업 집합에 대해 잘 작동하지만, 개방형 작업 공간으로 확장하는 것은 여전히 과제이다.
• 향후 방향: 저자들은 워핑된 오픈 루프 컨트롤러와 클로즈드 루프 학습기 간의 더 긴밀한 결합, 풍부한 다중모달 기반(예: 촉각 피드백) 및 프레임워크를 다중 로봇 협업 플레이로 확장할 것을 제안한다.

저자

• William Liang
• Sam Wang
• Hung-Ju Wang
• Osbert Bastani
• Yecheng Jason Ma
• Dinesh Jayaraman

논문 정보

• arXiv ID: 2603.03278v1
• 분류: cs.RO, cs.AI, cs.CV
• 출판일: 2026년 3월 3일
• PDF: PDF 다운로드