[Paper] PolaRiS: 일반 로봇 정책을 위한 확장 가능한 Real-to-Sim 평가

Source: arXiv - 2512.16881v1

Overview

이 논문은 PolaRiS라는 프레임워크를 소개한다. 이 프레임워크는 실제 장면을 짧게 촬영한 비디오를 고충실도 시뮬레이션 환경으로 변환하여, 일반 로봇 정책에 대한 빠르고 대규모의 “real‑to‑sim” 평가를 가능하게 한다. 시뮬레이션과 현실 사이의 시각적·물리적 격차를 메워줌으로써, PolaRiS는 방대한 실제 롤아웃에 소요되는 시간과 비용 없이 로봇 성능을 보다 신뢰할 수 있는 대리 지표를 제공한다.

주요 기여

• Neural scene reconstruction pipeline은 짧은 비디오 스캔을 인터랙티브하고 물리 인식 시뮬레이션 세계로 변환합니다.
• Zero‑shot evaluation recipe는 실제와 시뮬레이션 데이터를 혼합하여 정책을 공동 학습함으로써 남아 있는 현실 격차를 메웁니다.
• Empirical validation은 기존 시뮬레이터에 비해 PolaRiS 시뮬레이션 점수와 실제 성능 간의 상관관계가 크게 높음을 보여줍니다.
• Scalable environment generation: 하나의 비디오만으로 전체 3D 환경을 생성할 수 있어 수동 모델링 작업을 크게 줄입니다.
• Open‑source tooling은 연구실 및 산업 팀이 로봇 기반 모델의 벤치마킹을 민주화하도록 채택할 수 있습니다.

Methodology

1. Data Capture – 운영자는 상용 깊이 카메라를 사용해 대상 장면을 약 10 초 길이의 RGB‑D 비디오로 기록합니다.
2. Neural Reconstruction – 비디오는 신경 암시적 표현(예: NeRF‑스타일 모델)에 입력되어 기하와 외관을 학습하고, 물리 시뮬레이션에 필요한 재질 속성도 추정합니다.
3. Environment Export – 학습된 표현은 메시와 충돌 프리미티브, 물리 파라미터(질량, 마찰 등)로 변환되어 표준 로봇 시뮬레이터(예: PyBullet, Isaac Gym)에 로드될 수 있습니다.
4. Policy Co‑Training – 정책은 실제 세계 궤적과 재구성된 환경에서의 시뮬레이션 롤아웃을 혼합해 학습합니다. 간단한 도메인 랜덤화 + 적대적 손실을 사용해 시뮬레이션 관측을 실제 센서 데이터와 정렬합니다.
5. Zero‑Shot Evaluation – 학습이 완료되면, 정책은 추가 미세조정 없이 새로 재구성된 어떤 환경에도 바로 적용될 수 있으며, 성공률, 완료 시간 등 표준 작업 지표를 사용해 성능을 측정합니다.

결과 및 발견

• Correlation boost: PolaRiS 시뮬레이션 점수는 실제 성공률과 r = 0.78의 상관관계를 보였으며, 기존 시뮬레이터(예: Habitat, iGibson)의 r ≈ 0.45보다 높았습니다.
• Speedup: 100개의 재구성된 씬에서 정책을 평가하는 데 단일 GPU로 ≈2 시간이 걸렸으며, 동일한 수의 실제 로봇 롤아웃은 ≈150 시간이 필요했습니다.
• Generalization: PolaRiS 데이터를 함께 학습한 정책은 합성 데이터만으로 학습한 정책에 비해 보지 못한 실제 작업에서 +12 % 더 높은 성공률을 보였습니다.
• Ease of creation: 저자들은 5분 미만의 비디오 캡처만으로 50개의 다양한 주방 및 사무실 환경을 생성하여 빠른 확장성을 입증했습니다.

실용적 시사점

• 빠른 벤치마킹: 개발 팀은 정책 설계를 반복하고 실제에 가까운 성능 피드백을 며칠이 아니라 몇 분 안에 얻을 수 있어 연구‑에서‑제품 파이프라인을 가속화합니다.
• 분산 평가: 재구성 파이프라인이 일반 하드웨어에서 실행되기 때문에 여러 연구실(또는 원격 현장)에서도 평가 환경을 제공할 수 있어 커뮤니티 전체의 벤치마킹 표준을 촉진합니다.
• 비용 절감: 기업은 평가 작업의 대부분을 시뮬레이션으로 전환함으로써 고가의 로봇 사용 시간과 마모를 줄이고, 결과가 실제 세계에 전이된다는 신뢰를 유지할 수 있습니다.
• 기초 모델 검증: 대규모 다중 작업 로봇 모델이 등장함에 따라 PolaRiS는 단일 정책이 다양한 현실적인 환경에 실제로 일반화되는지를 검증할 수 있는 확장 가능한 “테스트베드”를 제공합니다.
• CI/CD와의 통합: 가벼운 파이프라인을 지속적 통합 시스템에 연결하면 현장 영상으로부터 새로운 테스트 씬을 자동으로 생성하고 정책 성능의 회귀를 표시할 수 있습니다.

제한 사항 및 향후 작업

• 재구성 충실도: 매우 반사되거나 투명한 표면은 여전히 신경 렌더링 단계에서 도전 과제가 되어 가끔 물리적 부정확성을 초래합니다.
• 센서 모달리티 격차: 현재 파이프라인은 RGB‑D에 초점을 맞추고 있으며, 촉각, 힘, 혹은 고유감각 모달리티로 확장하려면 추가 모델링이 필요합니다.
• 물리 확장성: 기하학은 잘 포착되지만, 미세한 재료 특성(예: 순응성)은 근사치로 처리되어 섬세한 조작이 필요한 작업에 영향을 줄 수 있습니다.
• 저자들이 강조한 향후 방향은 다음과 같습니다:
  1. 다중 뷰 비디오와 능동 스캔을 통합하여 재구성 품질을 향상시킵니다.
  2. 원시 비디오에서 직접 동역학을 예측하는 엔드‑투‑엔드 시뮬레이터를 학습합니다.
  3. 커뮤니티 벤치마킹을 위한 재구성된 환경의 공개 저장소를 구축합니다.

저자

• Arhan Jain
• Mingtong Zhang
• Kanav Arora
• William Chen
• Marcel Torne
• Muhammad Zubair Irshad
• Sergey Zakharov
• Yue Wang
• Sergey Levine
• Chelsea Finn
• Wei‑Chiu Ma
• Dhruv Shah
• Abhishek Gupta
• Karl Pertsch

논문 정보

• arXiv ID: 2512.16881v1
• 카테고리: cs.RO, cs.LG
• 출판일: 2025년 12월 18일
• PDF: Download PDF