ai

进入Omniverse：Physical AI 开放模型和框架推动机器人和自主系统

发布: (2026年1月30日 GMT+8 01:00)
10 min read
原文: NVIDIA AI Blog

Source: NVIDIA AI Blog

编辑注： 本文是 Into the Omniverse 系列的一部分，旨在探讨开发者、3D 从业者和企业如何利用 OpenUSD 与 NVIDIA Omniverse 的最新进展来改造工作流。

开源加速机器人与自主系统

开源已成为推动机器人和自主技术创新的关键。通过提供从仿真框架到 AI 模型等关键基础设施，NVIDIA 正在实现协同开发，加快通往更安全、更强大自主系统的路径。

在本月早些时候的 CES 上，NVIDIA 推出了全新的一套开源 physical AI 模型和框架，以加速以下领域的开发：

这些工具覆盖整个机器人开发生命周期——从高保真世界仿真和合成数据生成，到云原生编排和边缘部署——为开发者提供模块化工具包，以构建能够在真实世界中推理、学习和行动的自主系统。

OpenUSD 提供了统一的框架，标准化了 3D 数据在这些物理 AI 工具之间的共享方式，使开发者能够构建精准的 digital twins 并在仿真到部署的整个流程中无缝复用。基于 OpenUSD 构建的 NVIDIA Omniverse 库则作为提供真实世界仿真真值的来源，为整个技术栈提供支持。

从实验室到展厅

在 CES 2026 上，开发者将 NVIDIA 物理 AI 堆栈从实验室带到了展厅，推出了从重型设备和工厂助理到社交与服务机器人的各种机器。

该堆栈利用了：

  • NVIDIA Cosmos – 世界模型基础。
  • NVIDIA Isaac 技术，包括全新 Isaac Lab‑Arena 开源框架，用于策略评估。
  • NVIDIA Alpamayo – 为自动驾驶车辆提供的 AI 模型、仿真框架和物理 AI 数据集的开放组合。
  • NVIDIA OSMO – 用于在不同计算环境中编排训练的框架。

Caterpillar – Cat AI Assistant

  • 解决方案： Cat AI Assistant，使用 NVIDIA Nemotron 开放模型实现代理式 AI，并运行在 NVIDIA Jetson Thor 边缘 AI 模块上。
  • 功能： 在重型车辆驾驶舱内直接进行自然语言交互。操作员可以像说 “Hey Cat” 那样提问，获取逐步指导，并通过语音调整安全参数。
  • 幕后技术： Caterpillar 使用 Omniverse 库构建工厂和工地的数字孪生，模拟布局、交通流和多机器工作流。洞察结果在部署前反馈到设备和车队中，使 AI 辅助的运营更安全、更高效。

LEM Surgical – Dynamis 机器人外科系统

  • 状态： 已获 FDA 批准，正在常规临床中用于脊柱手术。
  • 硬件： NVIDIA Jetson AGX Thor 负责计算，NVIDIA Holoscan 负责实时传感器处理，NVIDIA Isaac for Healthcare 用于训练自主机械臂。
  • 数据管道： 使用 NVIDIA Cosmos Transfer（可完全自定义的世界模型）生成合成训练数据，并利用 NVIDIA Isaac Sim 进行数字孪生仿真。
  • 收益： 双臂类人机器人模拟外科医生的灵巧度，使复杂的脊柱手术具备更高精度，同时减轻外科医生和助理的体力负担。

LEM Surgical showcase

NEURA Robotics

  • 机器人： 4NE1 类人机器人和 MiPA 服务机器人。
  • 训练堆栈： Isaac Sim 与 Isaac Lab，在基于 OpenUSD 的数字孪生中进行训练后再部署到家庭和工作场所。
  • 建模： 在 Isaac GR00T 基础上后训练了 Isaac GR00T‑Mimic 模型。
  • 企业集成： 与 SAP 和 NVIDIA 合作，使用 Mega NVIDIA Omniverse Blueprint 将 SAP 的 Joule 代理嵌入大规模车队仿真与优化中，然后再推向 Neuraverse 生态系统。

AgiBot – Genie Envisioner (GE‑Sim)

  • 世界模型骨干： NVIDIA Cosmos Predict 2。
  • 管道： 生成基于强视觉和物理先验的动作条件视频；将这些数据与 Isaac Sim 与 Isaac Lab 结合后，再在 AgiBot 的专有数据上进行后训练。
  • 结果： 在 Genie Envisioner 中开发的策略更可靠地迁移到 Genie2 类人机器人以及搭载 Jetson Thor 的紧凑桌面机器人。

Intbot

  • 模型： NVIDIA Cosmos Reason 2 开放模型，为社交机器人提供“第六感”。
  • 使用场景： 识别超出脚本任务的简单社交线索和安全上下文，使机器人能够判断何时发言，并更自然地与人类互动。
  • 参考： 请参阅 Cosmos Cookbook recipe 了解推理视觉‑语言模型的演示。

这些案例展示了 NVIDIA 物理 AI 堆栈——涵盖世界模型、仿真和边缘计算——如何在重工业、医疗保健和社交机器人等领域推动新一代智能自主机器的出现。

机器人开发者如何使用新工具包和框架

1. NVIDIA Agile – 用于类人机器人运动与操作的仿真‑到‑真实引擎

  • 它是什么： 基于 Isaac Lab 的引擎，提供完整、经过验证的工作流，用于训练鲁棒的强化学习（RL）策略。
  • 支持平台： Unitree G1、LimX Dynamics TRON 以及其他类人机器人。
  • 关键特性
    • 内置任务配置和马尔可夫决策过程（MDP）模型。
    • 训练工具和确定性评估工具。
    • 在 Isaac Lab 中无缝进行压力测试 → 直接迁移到真实机器人。

结果: 更快、更可靠的运动和全身行为部署。

2. Hugging Face × NVIDIA – 将 Isaac GR00T N 模型集成到 LeRobot

  • 集成点
    • 访问 Isaac GR00T N1.6 模型。
    • 直接使用 LeRobot 生态系统中的 Isaac Lab‑Arena。
  • 对开发者的好处
    • 一站式环境，用于策略训练、评估和基准测试。
    • 简化从仿真到部署的工作流。

3. Reachy 2 类人机器人 + NVIDIA Jetson Thor

  • 开源机器人： Reachy 2（Hugging Face）。
  • 硬件合作伙伴： NVIDIA Jetson Thor。
  • 能力： 在板载部署先进的视觉‑语言‑动作（VLA）模型，实现鲁棒的真实世界性能。

4. ROBOTIS – 基于 NVIDIA Isaac 的开源仿真‑到‑真实流水线

  • 公司概况： 智能舵机、工业执行器、机械手、开源类人平台和教育套件的领军企业。
  • 流水线步骤
    1. 在 Isaac Sim 中生成高保真数据。
    2. 使用 GR00T‑Mimic 进行数据集扩增。
    3. 对基于 VLA 的 Isaac GR00T N 模型进行微调。
    4. 直接部署到机器人硬件。
  • 成果： 加速从仿真到可靠真实任务的转化。

快速链接

这些工具和合作正在重塑机器人开发者的原型设计、训练和交付方式——从仿真实验室直接走向现场。

获取最新信息

探索以下资源，进一步了解 OpenUSD 与机器人开发：

Back to Blog

相关文章

阅读更多 »