[Paper] SMP: 재사용 가능한 Score-Matching Motion Priors for Physics-Based Character Control

Source: arXiv - 2512.03028v1

Overview

이 논문은 Score‑Matching Motion Priors (SMP) 라는 새로운 방식을 소개한다. 이는 물리 기반 캐릭터에게 현실감 있고 스타일이 풍부한 움직임을 제공하면서, 새로운 작업마다 모션 프라이어를 다시 학습할 필요가 없도록 한다. 한 번 diffusion‑based 모션 모델을 학습한 뒤 이를 고정된 보상 함수로 사용함으로써, 개발자는 동일한 프라이어를 여러 제어 문제에 재사용할 수 있어 생동감 있는 아바타를 만드는 파이프라인이 크게 단순화된다.

Key Contributions

• 재사용 가능한, 작업에 구애받지 않는 모션 프라이어: SMP는 대규모 모션 캡처 데이터셋으로 한 번만 학습되며, 추가 미세조정 없이도 모든 다운스트림 제어 작업에 적용할 수 있다.
• Score‑distillation sampling (SDS)을 보상으로 활용: diffusion 모델의 로그‑밀도 기울기(“score”)를 밀집하고 미분 가능한 보상으로 변환하여, 정책이 프라이어가 타당하다고 판단하는 움직임을 직접 생성하도록 유도한다.
• 스타일 모듈성 및 합성: 하나의 일반 프라이어를 스타일‑특정 프라이어(예: “행복한 걷기”, “공격적인 달리기”)로 특화시킬 수 있으며, 여러 스타일을 결합해 원본 데이터에 존재하지 않았던 새로운 스타일을 합성할 수도 있다.
• 대립적 모방 학습과 동등한 품질: 정량적·시각적 평가에서 SMP는 최첨단 대립적 방법과 동등하거나 그 이상을 달성하면서 훨씬 더 재사용 가능함을 보여준다.
• 다양한 작업군: 물리 시뮬레이션된 인간형 로봇의 여러 작업(네비게이션, 장애물 회피, 객체 상호작용 등)에서 시연되어 접근법이 도메인 전반에 걸쳐 확장 가능함을 입증한다.

Methodology

1. Motion Diffusion Pre‑training

   • 대규모 모션 캡처 클립 컬렉션에 diffusion 모델을 학습한다. 모델은 손상된 모션 시퀀스를 복원하면서 자연스러운 인간 움직임의 확률 밀도를 암묵적으로 추정한다.

2. Score Distillation Sampling (SDS)

   • diffusion 학습이 끝난 뒤, 모델의 score—모션에 대한 로그‑확률의 기울기—를 임의의 후보 궤적에 대해 계산할 수 있다.
   • 이 score를 보상 신호로 사용한다: score와 정렬된 움직임을 생성하는 정책은 더 높은 보상을 받아 diffusion 모델이 학습한 분포로 끌어당겨진다.

3. Policy Training

   • 강화학습(RL) 루프가 특정 작업(예: 목표 지점까지 걷기)을 위한 제어 정책을 최적화한다. 작업 목표(예: 목표까지의 거리)와 SMP 보상을 결합해 작업 성공과 움직임 자연스러움을 균형 있게 만든다.
   • SMP 모듈은 고정된 상태로 유지되며, 정책 파라미터만 업데이트된다.

4. Style Specialization & Composition

   • 스타일‑특정 프라이어를 얻기 위해, diffusion 모델을 해당 스타일 라벨이 붙은 모션 서브셋에 미세조정한다.
   • 합성을 위해서는 여러 스타일‑특정 score를 선형으로 블렌딩하여, 정책이 하이브리드 움직임(예: “행복한 달리기 + 은밀함”)을 생성하도록 한다.

Results & Findings

• 품질: 시각적 비교에서 SMP 기반 캐릭터는 관절 궤적이 더 부드럽고 발 슬라이딩 현상이 적다.
• 재사용성: 동일한 프라이어를 10개의 서로 다른 작업에 그대로 사용했으며, 작업에 구애받지 않는 특성을 확인했다.
• 스타일 유연성: 스타일 프라이어를 교체하거나 블렌딩함으로써, 학습 데이터에 없던 “에너지 넘치는 댄스‑워크”와 같은 움직임을 생성해 창의적인 합성이 가능함을 보여준다.

Practical Implications

• 게임/VR 개발자를 위한 빠른 반복: 캐릭터나 레벨마다 새로운 대립적 프라이어를 학습하는 대신, 사전 학습된 SMP를 플러그인처럼 연결하고 게임플레이 메커니즘에 집중할 수 있다.
• 데이터 처리 감소: 사전 학습 후에는 레퍼런스 모션 데이터셋을 폐기해 라이선스 및 저장 문제를 완화한다.
• 모듈형 파이프라인: SMP는 플러그‑앤‑플레이 보상 모듈로 작동해, 안전성·에너지 효율 등 다른 목표와 쉽게 결합·교체할 수 있다.
• 스타일 저작: 디자이너가 소규모 스타일‑특정 클립을 수집·프라이어를 미세조정하면, 해당 미학을 공유하는 전체 캐릭터군을 즉시 생성할 수 있다.
• 도메인 간 전이: 프라이어가 제어 정책과 독립적이므로, 로봇 시뮬레이터, 디지털 트윈, 인간‑같은 움직임이 필요한 모든 물리 기반 아바타 시스템에 동일 모델을 재사용할 수 있다.

Limitations & Future Work

• diffusion 품질 의존성: diffusion 모델이 편향되거나 커버리지가 낮은 모션 데이터로 학습되면, SMP 보상도 그 한계를 물려받아 스타일 다양성이 제한된다.
• score 평가의 계산 비용: 매 RL 스텝마다 diffusion score를 계산하면 GPU 비용이 증가해, 순수 작업 보상 대비 약 15 % 정도 속도가 느려진다.
• 시뮬레이션 물리 한정: 실제 로봇에 적용하려면 sim‑to‑real 격차를 메워야 하는데, 현재 연구에서는 다루지 않는다.
• 향후 방향: (1) 보다 가벼운 score 근사기를 도입해 RL 루프를 가속화, (2) 다중 에이전트 협업 시나리오로 SMP 확장, (3) 라벨링 비용을 줄이기 위한 비지도식 스타일 발견 연구 등을 제안한다.

Authors

• Yuxuan Mu
• Ziyu Zhang
• Yi Shi
• Minami Matsumoto
• Kotaro Imamura
• Guy Tevet
• Chuan Guo
• Michael Taylor
• Chang Shu
• Pengcheng Xi
• Xue Bin Peng

Paper Information

• arXiv ID: 2512.03028v1
• Categories: cs.GR, cs.AI, cs.CV, cs.RO
• Published: December 2, 2025
• PDF: Download PDF