[Paper] 生成、迁移、适应：从单个人类示例学习 Functional Dexterous Grasping

Source: arXiv - 2601.05243v1

Overview

现在，只需一次人类演示，就可以教会灵巧的机器人手抓取整类物体以实现功能性使用。论文介绍了 CorDex，一个从该单次演示合成丰富训练数据的流水线，学习多模态抓取预测器，并在未见过的物体上提供可靠的功能性抓取——弥合了真实世界数据稀缺与机器人操作中语义‑几何推理需求之间的鸿沟。

关键贡献

• 基于对应关系的数据引擎：从单个人类抓取生成多样的合成对象，通过形状对应转移专家抓取，并通过优化进行细化。
• 多模态预测网络：通过新颖的局部‑全局融合模块融合视觉（RGB‑D）和几何（点云）线索。
• 重要性感知采样：在推理过程中优先考虑高影响接触区域，降低计算量同时保持精度。
• 一次性学习：展示了仅通过一次人类示范即可学习整个对象类别的功能性灵巧抓取。
• 最先进的性能：在仿真和真实机器人实验的多个基准类别上，超越了先前的功能抓取方法。

方法论

1. 从单个示例生成数据

   • 人类提供一个功能性抓取示例（例如，用手柄握住杯子）。
   • 程序化生成器创建大量属于同一语义类别的合成物体（不同形状、尺寸和纹理的杯子）。
   • 对每个合成物体，对应估计器将其几何体对齐到示例物体上，将手部姿态转移到新形状。
   • 优化步骤微调指关节角度，以消除相交并提升抓取稳定性，生成高质量标注数据集（物体网格 + 功能性抓取）。

2. 学习抓取预测器

   • 输入：目标物体的 RGB‑D 图像 + 其表面的采样点云。
   • 局部‑全局融合模块提取细粒度局部特征（例如手柄曲率），并与全局上下文（物体类别、整体形状）进行聚合。
   • 网络输出一组候选手部姿态；重要性感知采样器根据预测的功能相关性对其进行排序，仅评估最有前景的候选。

3. 对新物体的推理

   • 给定一个全新、未见过的物体，模型实时预测功能性灵巧抓取，可直接在机器人手（如 Shadow Hand、Allegro Hand）上执行，随后进行简短的运动学验证。

结果与发现

• Generalization: 在单个示例的基础上训练了约 2 k 个合成抓取，CorDex 在每类 10 个未见过的物体实例（如杯子、剪刀、锤子等）上实现了 >85 % 的成功率，而最强基线仅为 60–70 %。
• Efficiency: 重要性感知采样器将推理时间从约 120 ms（完整候选集）降低到约 35 ms，且成功率未下降，实现了近实时运行。
• Ablation studies: 消融实验表明，基于对应关系的数据引擎和局部‑全局融合模块各自约贡献 10–12 % 的整体性能提升。
• Real‑world validation: 在安装于 UR5 机械臂的实体 Shadow Hand 上，系统在 >80 % 的试验中成功完成了功能任务（例如从杯子倒液、用剪刀剪切），即使在光照和物体纹理变化的情况下亦能表现良好。

实际意义

• 快速原型化机器人技能：开发者只需一次人工演示即可为新工具类别启动功能性抓取，大幅缩短数据收集时间。
• 可扩展的工具使用库：制造业或仓储机器人可以在无需大量人工标注的情况下扩展可操作对象的库——只需提供少量人工演示，让 CorDex 合成其余部分。
• 与现有流水线的集成：多模态预测器可以直接嵌入基于 ROS 的操作堆栈，将抓取姿态提供给已经处理碰撞检测和轨迹生成的运动规划器。
• 成本效益高的仿真到真实转移：通过利用基于真实人类抓取的合成数据，该方法降低了对昂贵的遥操作或动作捕捉装置进行数据集创建的依赖。

限制与未来工作

• Simulation fidelity：合成对象是程序化生成的；高度不规则或可变形的物体（例如软织物）仍然具有挑战性。
• Single‑demo bias：虽然对许多类别有效，但该方法假设人类演示捕捉到了关键的功能接触；对于模糊任务可能需要多个演示。
• Hardware constraints：当前实现面向高自由度类人手；适配更简易的抓手可能需要重新设计对应转移步骤。
• Future directions：作者提出的未来工作包括将对应引擎扩展至处理可变形对象、加入触觉反馈以实现闭环细化，以及将框架扩展至学习超越单次抓取的多步骤操作序列。

作者

• Xingyi He
• Adhitya Polavaram
• Yunhao Cao
• Om Deshmukh
• Tianrui Wang
• Xiaowei Zhou
• Kuan Fang

论文信息

• arXiv ID: 2601.05243v1
• Categories: cs.RO, cs.CV
• Published: 2026年1月8日
• PDF: Download PDF