在 NeurIPS，NVIDIA 推进 Open Model Development，实现 Digital and Physical AI
Source: NVIDIA AI Blog
全球的研究人员依赖开源技术作为其工作的基础。为了让社区获得数字和物理 AI 的最新进展，NVIDIA 正在进一步扩展其开源 AI 模型、数据集和工具集合——这些技术在几乎所有研究领域都有潜在应用。
在 NeurIPS——全球顶级 AI 会议之一，NVIDIA 正在发布用于支持研究的开源物理 AI 模型和工具，其中包括 Alpamayo‑R1，全球首个面向自动驾驶的行业级开源推理视觉‑语言‑动作（VLA）模型。在数字 AI 方面，NVIDIA 也在发布用于语音和 AI 安全的新模型和数据集。
NVIDIA 的研究人员将在会议上展示超过 70 篇论文、演讲和研讨会，分享涵盖 AI 推理、医学研究、自动驾驶汽车（AV）开发等多个领域的创新项目。
这些举措深化了 NVIDIA 对开源的承诺——这一努力得到了新发布的 Artificial Analysis 开放指数 的认可。Artificial Analysis 开放指数对 NVIDIA Nemotron 系列开源技术在前沿 AI 开发中的开放程度进行评分，依据模型许可证的宽容度、数据透明度以及技术细节的可获取性，将其评为 AI 生态系统中最开放的技术之一。
NVIDIA DRIVE Alpamayo‑R1 为自动驾驶开启新研究前沿
NVIDIA DRIVE Alpamayo‑R1 (AR1) 是全球首个用于 AV 研究的开源推理 VLA 模型，它将链式思考的AI 推理与路径规划相结合——这是在复杂道路场景中提升 AV 安全性并实现四级自动驾驶的关键组件。
过去的自动驾驶模型在处理细微情境时常常力不从心——如行人密集的交叉口、即将到来的车道封闭或自行车道上的双停车辆——而推理赋予了自动驾驶汽车类似人类的常识，使其驾驶更为自然。
AR1 通过将场景拆解并逐步推理来实现这一点。它会考虑所有可能的轨迹，然后利用上下文数据选择最佳路径。
示例： 通过 AR1 启用的链式思考推理，一辆在行人密集且靠近自行车道的区域行驶的 AV 可以获取其路径数据，结合推理痕迹——即对为何采取特定行动的解释——并利用这些信息规划未来轨迹，例如远离自行车道或为潜在的闯红灯行人停下。
document.createElement('video');AR1 的开源基础基于 NVIDIA Cosmos Reason，允许研究人员针对自己的非商业用例进行模型定制，无论是用于基准测试还是构建实验性 AV 应用。
在后训练阶段，强化学习被证明尤为有效——研究人员观察到，与预训练模型相比，AR1 在推理能力上有显著提升。
NVIDIA DRIVE Alpamayo‑R1 将在 GitHub 和 Hugging Face 上提供，训练和评估模型所使用的数据子集也可在 NVIDIA Physical AI Open Datasets 中获取。NVIDIA 还发布了开源的 AlpaSim 框架 用于评估 AR1。
了解更多关于自动驾驶推理 VLA 模型的信息。
为任何物理 AI 用例定制 NVIDIA Cosmos
开发者可以通过 Cosmos Cookbook 中的逐步配方、快速推理示例以及高级后训练工作流，学习如何使用并后训练基于 Cosmos 的模型。这是一份面向物理 AI 开发者的综合指南，涵盖 AI 开发的每一步，包括数据策划、合成数据生成和模型评估。
Cosmos 基础的示例应用
- LidarGen – 首个能够为 AV 仿真生成激光雷达数据的世界模型。
- Omniverse NuRec Fixer – 一款用于 AV 和机器人仿真的模型，利用 NVIDIA Cosmos Predict 能够几乎即时修复神经重建数据中的伪影，如新视角或噪声数据产生的模糊和孔洞。
- Cosmos Policy – 将大型预训练视频模型转化为稳健机器人策略的框架——即决定机器人行为的一套规则。
- ProtoMotions3 – 基于 NVIDIA Newton 和 Isaac Lab 的开源 GPU 加速框架，用于在由 Cosmos 世界基础模型（WFM）生成的真实场景中训练物理仿真的数字人类和类人机器人。
LidarGen 模型的示例输出，基于 Cosmos 构建。顶部行显示输入数据，随后是生成的激光雷达数据。