[Paper] 感知类人Parkour：通过Motion Matching串联动态人类技能

Source: arXiv - 2602.15827v1

概述

本文介绍了 Perceptive Humanoid Parkour (PHP)，一种模块化系统，使类人机器人能够通过基于视觉的感知和一套动态的人体衍生动作库，自动在复杂的障碍赛道中导航。通过将基于动作匹配的技能链与强化学习（RL）策略蒸馏相结合，作者在真实的 Unitree G1 机器人上实现了跑酷级的敏捷性——这在以前仅限于简单行走或离线预规划动作。

关键贡献

• Motion‑matching 技能组合器：将人类衍生的原子跑酷技能表示为特征空间中的点，并通过最近邻搜索将它们拼接在一起，生成平滑的长时程运动学轨迹。
• RL 专家策略训练与蒸馏：为每条组合轨迹训练独立的运动跟踪 RL 专家，然后使用混合 DAgger + RL 流程将它们蒸馏为单一的深度传感器驱动学生策略。
• 感知驱动的决策模块：仅使用机载深度图像和二维速度指令，在离散动作（跨越、攀爬、翻越、滚动）之间进行选择，实现闭环、上下文感知的跑酷。
• 硬件类人形机器人的真实世界验证：展示了攀爬高达 1.25 m（约占机器人身高的 96 %）的障碍物，并在多障碍遍历中实现对扰动的即时适应。
• 开源友好的模块化流水线：该框架将感知、技能组合和控制分离，便于扩展到新技能或新传感模态。

方法论

1. 数据收集与重新定向

   • 使用动作捕捉捕获多样的人体跑酷动作（例如翻越、攀爬、翻滚）。
   • 将这些动作重新映射到机器人的运动学模型上，在保持动力学的同时遵守关节限制。

2. 基于特征的动作匹配

   • 将每个原子技能编码为高维特征向量（关节速度、接触状态、质心轨迹）。
   • 在运行时，在该特征空间中进行最近邻搜索，选择最能延续当前轨迹的下一个技能，以确保平滑过渡。

3. 专家强化学习策略

   • 对每条组合轨迹，训练一个动作跟踪的强化学习策略（例如 PPO），使其在处理模型不确定性和接触动力学的同时学习跟随运动学参考。

4. 策略蒸馏

   • 使用 DAgger（数据集聚合）在学生与环境交互时收集专家的状态‑动作对。
   • 使用强化学习奖励（稳定性、能效、障碍物跨越）微调学生模型，以缩小性能差距。

5. 感知与决策

   • 处理单帧深度图，提取即时环境的二维高度图。
   • 轻量级分类器将高度图与期望速度映射为离散技能指令，进而触发动作匹配链中的相应片段。

结果与发现

实验表明，机器人能够在运行中即时适应移动或新出现的障碍，保持平衡并在无需外部干预的情况下完成赛道。

实际意义

• 机器人开发者 现在可以在不手工制作每个过渡的情况下原型化灵活的人形行为；运动匹配库负责无缝链式衔接。
• 游戏引擎和仿真流水线 可以采用相同的基于特征的匹配，实时生成对动态环境作出真实反应的人形化身。
• 工业检测或灾害响应机器人 可以利用感知驱动的技能选择器，在最小重新编程的情况下在瓦砾中导航、爬梯子或在低净空通道下滚动。
• 边缘 AI 硬件 已证明足以进行低延迟深度处理和策略推理，表明类似的流水线可以在现有机器人平台上运行（例如 Boston Dynamics Spot、Agility Robotics Cassie）。

限制与未来工作

• 技能库规模：系统的灵活性受限于预先录制的人体动作的多样性；添加新技能仍需进行动作捕捉和重定向。
• 仅深度感知：仅依赖深度信息会限制对纹理或语义的理解（例如，区分易碎的玻璃板与坚固的墙壁）。
• 对未见地形的泛化：虽然该方法能够适应障碍物扰动，但未对极端地形变化（例如，滑溜表面）进行评估。
• 最近邻搜索的可扩展性：随着技能数据库的增长，需要更高效的索引方式（例如，层次聚类或学习的嵌入）。

未来的研究方向包括通过生成式动作合成扩展技能库、融合多模态感知（RGB、触觉），以及将该框架应用于多机器人协作，实现协同跑酷或建筑任务。

作者

• Zhen Wu
• Xiaoyu Huang
• Lujie Yang
• Yuanhang Zhang
• Koushil Sreenath
• Xi Chen
• Pieter Abbeel
• Rocky Duan
• Angjoo Kanazawa
• Carmelo Sferrazza
• Guanya Shi
• C. Karen Liu

论文信息

• arXiv ID: 2602.15827v1
• 分类: cs.RO, cs.AI, cs.LG, eess.SY
• 出版日期: 2026年2月17日
• PDF: 下载 PDF