MOCHI: 협업 인간‑물체 상호작용 움직임 강화
개요
협업 인간-물체 상호작용은 참가자와 공유 물체가 지속적으로 조정하고 anticipatory(예측)해야 하는 동적이고 복잡한 움직임을 보여줍니다. 이러한 협업 다인간 물체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기본 단계로 필요하지만, MHOI의 본질적인 복잡성 때문에 이는 도전적입니다. 이는 인간-인간 및 인간-물체 상호작용이 동시에 발생하기 때문입니다. 이러한 복잡성은 손과 물체 사이의 접촉 정렬 오류, 캡처된 시퀀스의 움직임 진동 및 시간적 불일치, 그리고 손가락 수준의 예술화 정보 누락 또는 불완전함이라는 여러 아티팩트를 특징으로 하는 잡음이 많은 MHOI 캡처를 초래합니다.
이러한 도전을 해결하기 위해 우리는 MOCHI(MOtion Enhancement of Collaborative Human-object Interactions)라는 두 단계 프레임워크를 제시합니다. 이는 잡음이 많은 MHOI 데이터를 향상시키기 위한 것입니다. 우리의 접근법은 먼저 잡음이 많은 몸 입력으로부터 물리적으로 합리적인 손 포즈를 최적화하여 생성합니다. 이러한 최적화된 포즈는 몸 자세와 의미적으로 일관되며, 이를 완전한 손-물체 상호작용 시퀀스로 확장합니다. 따라서 모든 참가자의 전체 몸 움직임은 단일 인격 동작 사전( prior )을 사용하는 확산 기반 노이즈 최적화 프레임워크를 통해 정교해집니다. 최적화 과정 동안 우리는 인간-물체 및 인간-인간 상호작용 정보를 이러한 단일 인격 사전 안에 포함시키는 최적화 목표를 도입합니다.
실험 결과는 우리 파이프라인이 다양한 MHOI 데이터에서 효과적임을 보여줍니다. 이는 기존 캡처 방법으로 획득한 데이터이든 생성 모델로 합성된 데이터이든 관계없이 적용됩니다. 또한 우리는 참여자 수와 상호작용 유형이 변함에 따라 시스템의 강건성을 보이고, 다양한 응용 사례를 제시합니다. 여기에는 키프레임 기반 MHOI 생성과 객체 기하학을 변경하여 데이터 증강이 포함됩니다.
주요 공헌
본 논문은 다음과 같은 연구 분야를 제시합니다:
- cs.CV
- cs.GR
- cs.RO
방법론
자세한 방법에 대해서는 전체 논문을 참고하십시오.
실용적 의미
본 연구는 cs.CV 분야의 발전을 기여합니다.
저자
- Jiye Lee
- Yonghun Choi
- Jungdam Won
논문 정보
- arXiv ID: 2606.18243v1
- 카테고리: cs.CV, cs.GR, cs.RO
- 발행일: 2026년 6월 16일
- PDF: Download PDF