ai

Omniverse로: Physical AI Open Models와 Frameworks가 로봇 및 Autonomous Systems를 발전시키다

발행: (2026년 1월 30일 오전 02:00 GMT+9)
12 min read
원문: NVIDIA AI Blog

Source: NVIDIA AI Blog

Editor’s note: 이 게시물은 Into the Omniverse 시리즈의 일부이며, 개발자, 3D 실무자 및 기업이 최신 OpenUSD 및 NVIDIA Omniverse 기술을 활용해 워크플로를 혁신할 수 있도록 집중합니다.

오픈 소스가 로보틱스와 자율성을 가속화하다

오픈 소스는 로보틱스와 자율성 분야에서 혁신을 이끌기 위해 필수적인 요소가 되었습니다. 시뮬레이션 프레임워크부터 AI 모델에 이르기까지 핵심 인프라에 대한 접근성을 제공함으로써, NVIDIA는 보다 안전하고 능력 있는 자율 시스템으로 가는 길을 가속화하는 협업 개발을 가능하게 하고 있습니다.

이번 달 초 CES에서 NVIDIA는 개발을 가속화하기 위한 새로운 오픈 physical AI 모델 및 프레임워크 제품군을 소개했습니다:

이러한 도구들은 고충실도 세계 시뮬레이션 및 합성 데이터 생성부터 클라우드‑네이티브 오케스트레이션 및 엣지 배포에 이르기까지 로보틱스 개발 전체 수명 주기를 포괄합니다. 이를 통해 개발자는 실제 세계에서 사고하고, 학습하며, 행동할 수 있는 자율 시스템을 구축하기 위한 모듈식 툴킷을 제공받습니다.

OpenUSD는 이러한 물리‑AI 도구들 간에 3D 데이터를 공유하는 방식을 표준화하는 공통 프레임워크를 제공하여, 개발자가 정확한 **digital twins**을 구축하고 시뮬레이션에서 배포까지 원활하게 재사용할 수 있게 합니다. OpenUSD 기반으로 구축된 NVIDIA Omniverse 라이브러리는 전체 스택에 공급되는 실제값 시뮬레이션의 소스로 작동합니다.

From Labs to the Show Floor

CES 2026에서 개발자들은 NVIDIA 물리‑AI 스택을 실험실에서 쇼 플로어로 옮겨, 중장비 및 공장 보조 로봇부터 사회·서비스 로봇에 이르는 다양한 기계를 선보였습니다.

스택은 다음을 활용합니다:

  • NVIDIA Cosmos – 세계 모델 기반.
  • NVIDIA Isaac 기술군, 여기에는 정책 평가를 위한 새로운 Isaac Lab‑Arena 오픈‑소스 프레임워크가 포함됩니다.
  • NVIDIA Alpamayo – 자율 주행 차량을 위한 AI 모델, 시뮬레이션 프레임워크, 물리‑AI 데이터셋을 제공하는 오픈 포트폴리오.
  • NVIDIA OSMO – 컴퓨팅 환경 전반에 걸친 학습을 조정하는 프레임워크.

Caterpillar – Cat AI Assistant

  • 솔루션: NVIDIA Nemotron 오픈 모델을 활용한 Cat AI Assistant, NVIDIA Jetson Thor 엣지 AI 모듈에서 실행됩니다.
  • 기능: 중장비 운전실에서 직접 자연어 인터랙션을 지원합니다. 운전자는 “Hey Cat” 스타일의 질문으로 단계별 안내를 받고, 음성으로 안전 파라미터를 조정할 수 있습니다.
  • 뒷이야기: Caterpillar는 Omniverse 라이브러리를 사용해 공장 및 현장 디지털 트윈을 구축하고 레이아웃, 교통 흐름, 다중 기계 워크플로를 시뮬레이션합니다. 얻어진 인사이트는 장비와 차량군에 피드백되어 배포 전 AI‑지원 운영을 보다 안전하고 효율적으로 만듭니다.

LEM Surgical – Dynamis Robotic Surgical System

  • 현황: FDA 승인을 받았으며 척추 수술에 일상적으로 사용됩니다.
  • 하드웨어: 연산을 위한 NVIDIA Jetson AGX Thor, 실시간 센서 처리를 위한 NVIDIA Holoscan, 자율 팔 훈련을 위한 NVIDIA Isaac for Healthcare.
  • 데이터 파이프라인: NVIDIA Cosmos Transfer(완전 맞춤형 세계 모델)를 이용해 합성 학습 데이터를 생성하고, NVIDIA Isaac Sim으로 디지털 트윈 시뮬레이션을 수행합니다.
  • 이점: 이중 팔 휴머노이드 로봇이 외과 의사의 손재주를 모방해 복잡한 척추 수술을 높은 정밀도로 수행하며, 외과 의사와 보조자의 신체적 부담을 감소시킵니다.

LEM Surgical showcase

NEURA Robotics

  • 로봇: 4NE1 휴머노이드와 MiPA 서비스 로봇.
  • 훈련 스택: 배포 전 OpenUSD 기반 디지털 트윈에서 훈련하기 위해 Isaac Sim과 Isaac Lab을 사용합니다.
  • 모델링: Isaac GR00T 기반 위에 Isaac GR00T‑Mimic 모델을 후학습했습니다.
  • 엔터프라이즈 통합: SAP와 NVIDIA가 협업해 SAP의 Joule 에이전트를 Mega NVIDIA Omniverse Blueprint에 삽입, 대규모 차량 시뮬레이션 및 정제를 수행한 뒤 Neuraverse 생태계에 롤아웃합니다.

AgiBot – Genie Envisioner (GE‑Sim)

  • 세계 모델 백본: NVIDIA Cosmos Predict 2.
  • 파이프라인: 강력한 시각·물리 사전 지식을 바탕으로 행동‑조건 비디오를 생성하고, 이를 Isaac Sim·Isaac Lab과 결합한 뒤 AgiBot 고유 데이터로 후학습합니다.
  • 결과: Genie Envisioner에서 개발된 정책이 Genie2 휴머노이드와 Jetson Thor‑구동 소형 테이블탑 로봇에 보다 신뢰성 있게 전이됩니다.

Intbot

  • 모델: NVIDIA Cosmos Reason 2 오픈 모델로, 사회 로봇에 “제6감”을 제공합니다.
  • 사용 사례: 스크립트된 작업을 넘어 간단한 사회적 신호와 안전 상황을 파악해 로봇이 언제 말하고 인간과 자연스럽게 상호작용할지 결정하게 합니다.
  • 참고: 추론 비전‑언어 모델이 실제로 동작하는 데모는 Cosmos Cookbook recipe를 확인하세요.

이러한 사례들은 세계 모델, 시뮬레이션, 엣지 컴퓨팅을 아우르는 NVIDIA 물리‑AI 스택이 중공업, 의료, 사회 로봇 분야에서 새로운 세대의 지능형·자율 기계를 가능하게 하고 있음을 보여줍니다.

로봇 개발자들이 새로운 툴킷과 프레임워크를 활용하는 방법

1. NVIDIA Agile – 인간형 로코‑매니퓰레이션을 위한 Sim‑to‑Real 엔진

  • What it is: Isaac Lab‑ 기반 엔진으로, 견고한 강화학습(RL) 정책 훈련을 위한 완전하고 검증된 워크플로우를 한 번에 제공합니다.
  • Supported platforms: Unitree G1, LimX Dynamics TRON 및 기타 인간형 로봇.
  • Key features
    • 내장된 작업 구성 및 마코프 결정 프로세스(MDP) 모델.
    • 훈련 유틸리티와 결정론적 평가 도구.
    • Isaac Lab에서의 원활한 스트레스 테스트 → 실제 로봇으로 직접 전이.

Result: 더 빠르고 신뢰할 수 있는 보행 및 전신 행동 배포.

2. Hugging Face × NVIDIA – Isaac GR00T N 모델을 LeRobot에 통합

  • Integration points
    • Isaac GR00T N1.6 모델에 대한 접근.
    • LeRobot 생태계에서 Isaac Lab‑Arena 직접 사용.
  • Benefits for developers
    • 정책 훈련, 평가, 벤치마킹을 위한 원스톱 환경.
    • 시뮬레이션에서 배포까지 간소화된 워크플로우.

3. Reachy 2 Humanoid + NVIDIA Jetson Thor

  • Open‑source robot: Reachy 2 (Hugging Face).
  • Hardware partner: NVIDIA Jetson Thor.
  • Capability: 고급 Vision‑Language‑Action(VLA) 모델을 온보드에 배포하여 견고한 실제 환경 성능을 구현.

4. ROBOTIS – NVIDIA Isaac과 함께하는 오픈‑소스 Sim‑to‑Real 파이프라인

  • Company profile: 스마트 서보, 산업 액추에이터, 매니퓰레이터, 오픈‑소스 인간형 플랫폼 및 교육용 키트 분야의 선두 기업.
  • Pipeline steps
    1. Isaac Sim에서 고충실도 데이터 생성.
    2. GR00T‑Mimic을 활용한 데이터셋 확장.
    3. VLA 기반 Isaac GR00T N 모델 미세 조정.
    4. 로봇 하드웨어에 직접 배포.
  • Outcome: 시뮬레이션에서 견고한 실제 작업으로 전환하는 속도 가속.

빠른 링크

이러한 도구와 협업은 로봇 개발자들이 시뮬레이션 랩에서 바로 현장으로 지능형 에이전트를 프로토타이핑, 훈련, 배포하는 방식을 혁신하고 있습니다.

Get Plugged In

Back to Blog

관련 글

더 보기 »