[Paper] DeVI: 물리 기반 정교한 인간-객체 상호작용을 위한 합성 비디오 모방

Source: arXiv - 2604.20841v1

개요

이 논문은 DeVI (Dexterous Video Imitation) 를 소개한다. 이 프레임워크는 텍스트‑조건부 합성 인간‑물체 상호작용 비디오를 물리적으로 타당한 정교한 로봇 손용 제어 정책으로 변환한다. 2‑D 생성 비디오 단서와 3‑D 물리 시뮬레이션 사이의 격차를 연결함으로써, DeVI는 복잡한 조작을 제로‑샷으로 모방할 수 있게 한다—이는 전통적인 모션‑캡처 파이프라인이 포착하기 어려운 부분이다.

Key Contributions

• Video‑first imitation pipeline: 합성 비디오만 사용(3‑D 모션 캡처 없음)하여 정교한 손‑물체 제어 학습을 위한 시연 데이터로 활용합니다.
• Hybrid tracking reward: 3‑D 인간 자세 추적과 견고한 2‑D 물체 추적을 결합해 생성된 비디오의 물리적 충실도가 제한적인 것을 보완합니다.
• Zero‑shot generalization: 이전에 보지 못한 물체와 상호작용 유형을 텍스트 프롬프트만으로 처리하여 작업별 시연 수집이 필요 없게 합니다.
• Empirical superiority: 고품질 3‑D 시연에 의존하는 최신 방법들을 능가하며, 특히 세밀한 손‑물체 접촉 모델링에서 우수합니다.
• Scalable to multi‑object scenes & diverse actions: 하나의 비디오 기반 플래너가 여러 물체와 다양한 조작 동사를 포함한 복잡한 시퀀스를 조정할 수 있음을 보여줍니다.

방법론

1. Synthetic video generation – 텍스트‑투‑비디오 확산 모델(예: Stable Diffusion Video)에 원하는 조작에 대한 자연어 설명(예: “빨간 머그컵을 집어 들어라”)을 입력합니다. 모델은 대상 물체와 상호작용하는 인간 손의 짧고 현실적인 클립을 출력합니다.
2. 3‑D human pose extraction – 기존 포즈 추정기(예: VIBE, SMPL‑X)를 사용해 각 비디오 프레임에서 대략적인 3‑D 스켈레톤을 복원합니다. 이는 손 관절의 대략적인 궤적을 제공합니다.
3. 2‑D object tracking – 전용 객체 추적기(예: SiamMask)가 클립 전체에서 대상 객체의 픽셀 마스크를 추적하여 깊이 오류에 덜 민감한 밀집 2‑D 궤적을 생성합니다.
4. Hybrid tracking reward – 물리 시뮬레이터에서 강화 학습을 수행하는 동안, 에이전트는 3‑D 관절 궤적 및 2‑D 객체 마스크 궤적에서의 편차에 대해 벌점을 부과하는 보상을 받습니다. 3‑D 포즈가 노이즈가 있을 때 2‑D 항이 보정 신호 역할을 합니다.
5. Policy learning – 모델‑프리 RL 알고리즘(예: PPO)이 물리 제약(접촉 힘, 관절 제한)을 준수하면서 하이브리드 보상을 최대화하도록 정교한 손 정책을 최적화합니다. 명시적인 역운동학이나 궤적 스무딩이 필요하지 않습니다.

전체 파이프라인은 완전 자동화됩니다: 사용자가 텍스트 명령을 작성하면 시스템이 비디오를 생성하고, 추적 단서를 추출하며, 시뮬레이션 또는 실제 로봇 손에 배포할 수 있는 제어 정책을 학습합니다.

결과 및 발견

정성적으로, DeVI로 학습된 정책은 부드러운 손가락 관절 움직임, 적절한 손목 방향, 그리고 합성 비디오에서 본 동작을 그대로 반영하는 적응형 잡힘 힘을 보여준다. 이는 대상 객체가 훈련 세트와 형태나 질감이 다르더라도 마찬가지이다.

Practical Implications

• Rapid prototyping of manipulation skills – 엔지니어는 한 문장으로 새로운 작업을 지정하고, 노동 집약적인 모션 캡처 세션 없이 바로 실행 가능한 정책을 얻을 수 있습니다.
• Scalable dataset creation – 합성 비디오 생성기는 사실상 무한에 가까운 다양한 HOI (human‑object interaction) 클립을 생성하여 로봇 손재주 향상을 위한 지속적인 개선 루프에 공급할 수 있습니다.
• Cross‑domain transfer – 정책이 물리 제약을 포함한 시뮬레이션에서 학습되므로, 결과 컨트롤러를 최소한의 도메인 랜덤화만으로 실제 하드웨어에 미세 조정할 수 있어 상용 로봇 손(예: Shadow Dexterous Hand, Allegro) 배치를 가속화합니다.
• Enhanced human‑robot collaboration – 인간 행동을 예측하거나 모방해야 하는 시스템(예: 협업 조립, 원격 조작 지원)은 동일한 비디오 기반 파이프라인을 활용해 시각적 단서로부터 타당한 손 궤적을 추론할 수 있습니다.
• Cost reduction – 고가의 모캡 장비, 고속 카메라, 수동 주석 파이프라인이 필요 없게 하여 제한된 예산을 가진 스타트업 및 연구실도 고급 손재주 조작을 활용할 수 있게 합니다.

제한 사항 및 향후 연구

• 생성된 비디오의 물리적 현실감 – 현재 확산 모델은 정확한 깊이와 접촉 물리를 보장하지 않으며, 이는 하이브리드 보상에 편향을 초래할 수 있습니다.
• 시뮬‑실 격차 – 저자들은 유망한 시뮬레이션 결과를 보고했지만, 학습된 정책을 실제 하드웨어에 적용하려면 추가적인 보정 및 안전 검사가 필요할 수 있습니다.
• 학습 데이터에 제한된 객체 다양성 – 비디오 생성기의 객체 카탈로그는 사전 학습 중에 본 것에 한정되며, 완전히 새로운 카테고리는 비현실적인 클립을 생성할 수 있습니다.
• 강화학습 훈련의 계산 비용 – 데이터 수집은 저렴하지만, 정책 최적화는 각 새로운 작업마다 상당한 GPU/CPU 자원을 필요로 합니다.

향후 연구 방향으로는 물리 인식 비디오 생성 통합(예: 시뮬레이션된 역학에 조건화), 소수 샷 실세계 파인튜닝 활용, 그리고 프레임워크를 전신 조작 시나리오(예: 양손 사용 또는 몸통 움직임 포함)로 확장하는 것이 있습니다.

저자

• Hyeonwoo Kim
• Jeonghwan Kim
• Kyungwon Cho
• Hanbyul Joo

논문 정보

• arXiv ID: 2604.20841v1
• 분류: cs.CV
• 출판일: 2026년 4월 22일
• PDF: Download PDF