[Paper] Neurosim: Neuromorphic Robot Perception을 위한 고속 시뮬레이터

Source: arXiv - 2602.15018v1

개요

Neurosim은 고성능 GPU 가속 라이브러리로, 이벤트 기반 카메라, RGB/Depth 이미지 센서, IMU 등 다양한 로봇 센서를 시뮬레이션할 수 있게 하며, 변화가 풍부한 환경에서 멀티 로터 드론의 민첩한 동역학과 함께 동작합니다. 단일 데스크톱 GPU에서 최대 ~2700 FPS를 제공하고 ZeroMQ 기반 Cortex 메시징 레이어와 결합함으로써, Neurosim은 실시간으로 신경형 인식 및 제어 파이프라인을 학습하고 테스트할 수 있게 하여 시뮬레이션과 배포 사이의 격차를 메워줍니다.

Key Contributions

• Fast, unified sensor simulation for event‑based vision, conventional RGB/D cameras, depth, and inertial sensors, all running on the same GPU pipeline.
  → 빠르고 통합된 센서 시뮬레이션으로 이벤트 기반 비전, 기존 RGB/D 카메라, 깊이 및 관성 센서를 모두 동일한 GPU 파이프라인에서 실행합니다.

• Real‑time multi‑rotor dynamics engine that can handle complex, dynamic scenes (e.g., moving obstacles, wind gusts) without sacrificing frame rate.
  → 실시간 멀티 로터 동역학 엔진으로 복잡하고 동적인 장면(예: 이동 장애물, 돌풍)을 프레임 레이트를 희생하지 않고 처리할 수 있습니다.

• Cortex communication stack (ZeroMQ + native NumPy/PyTorch support) enabling low‑latency, high‑throughput data exchange between Python and C++ components.
  → Cortex 통신 스택(ZeroMQ + 네이티브 NumPy/PyTorch 지원)으로 Python과 C++ 구성 요소 간에 저지연, 고처리량 데이터 교환을 가능하게 합니다.

• Demonstrated workflow for self‑supervised learning on time‑synchronized multi‑modal data and closed‑loop testing of neuromorphic controllers.
  → 시간 동기화된 다중 모달 데이터에 대한 자체 지도 학습 워크플로와 뉴로모픽 컨트롤러의 폐쇄 루프 테스트를 시연했습니다.

• Open‑source release (GitHub) with comprehensive examples, making the tool immediately usable by the robotics and ML community.
  → 포괄적인 예제가 포함된 오픈소스 릴리스(GitHub)로, 로봇공학 및 머신러닝 커뮤니티가 즉시 도구를 활용할 수 있게 합니다.

방법론

Neurosim은 두 가지 핵심 아이디어에 기반합니다:

1. GPU‑centric sensor pipelines – 각 센서 유형은 GPU에서 직접 픽셀 단위 또는 이벤트 단위 데이터를 생성하는 일련의 CUDA 커널로 표현됩니다. 전체 시뮬레이션을 디바이스에 유지함으로써 최종 메시지 전송까지 데이터를 CPU로 복사할 필요가 없어 병목 현상이 사라집니다.

2. ZeroMQ‑backed message passing (Cortex) – 센서 출력은 NumPy 배열 또는 PyTorch 텐서로 래핑되어 ZeroMQ 소켓을 통해 스트리밍됩니다. Cortex는 직렬화 세부 사항을 추상화하여 Python과 C++에서 동일하게 동작하는 간단한 publish/subscribe API를 제공합니다. 이 설계 덕분에 연구자는 데이터 처리 코드를 다시 작성하지 않고도 (예: PyTorch 기반 스파이킹 신경망) 어떤 머신러닝 모델이라도 쉽게 연결할 수 있습니다.

저자들은 시스템을 다음과 같이 평가했습니다

• (i) 동기화된 이벤트 카메라와 IMU 스트림을 이용해 자체 지도 학습(self‑supervised) 깊이 추정 네트워크를 훈련하고,
• (ii) 복잡한 환경에서 시뮬레이션된 쿼드로터를 안정화시키는 뉴로모픽 컨트롤러를 배포하여, 모두 실시간 프레임 레이트를 유지했습니다.

결과 및 발견

이 수치들은 Neurosim이 대부분의 실시간 로봇 인식 파이프라인(일반적으로 30–120 Hz)의 타이밍 요구사항을 충분히 초과할 수 있음을 보여줍니다. 높은 속도의 이벤트 스트림을 처리하면서도 말이죠. 자기‑감독 학습 실험은 실제 하드웨어 데이터로 학습한 베이스라인과 비교해 유사한 정확도를 달성했으며, 이는 시뮬레이션된 모달리티가 다운스트림 학습에 충분히 현실적임을 확인시켜 줍니다.

실용적 함의

• 가속된 프로토타이핑 – 개발자는 물리적 센서나 비행 테스트 없이도 인식 알고리즘(예: 스파이킹 CNN, 이벤트 기반 SLAM)을 반복 실행할 수 있어 하드웨어 비용과 안전 위험을 줄일 수 있습니다.
• 원활한 ML 통합 – Cortex의 기본 텐서 지원 덕분에 PyTorch 모델을 시뮬레이션 루프에 바로 삽입할 수 있어, 신경형 네트워크, 강화 학습 에이전트, 혹은 센서 융합 아키텍처에 대한 빠른 실험이 가능합니다.
• 확장 가능한 벤치마킹 – 전체 스택이 GPU에서 실행되므로, 여러 센서 구성이나 제어 정책을 병렬로 벤치마크할 수 있어 하이퍼파라미터 탐색이나 자동 아키텍처 검색에 유용합니다.
• 실시간 하드웨어‑인‑더‑루프(HIL) – 저지연 메시징 덕분에 파이프라인의 일부를 실제 하드웨어(예: 실제 IMU)로 교체하면서 나머지는 시뮬레이션 상태로 유지할 수 있어 혼합 현실 테스트를 용이하게 합니다.
• 오픈 생태계 – 코드가 공개되어 있어 커뮤니티가 새로운 센서 모델(LiDAR, 레이더)을 추가하거나, 동역학을 지상 로봇으로 확장하거나, 간단한 브리지를 통해 ROS 2와 통합할 수 있습니다.

제한 사항 및 향후 작업

• 물리 정확도 – 동역학 엔진은 속도에 중점을 두며, 고정밀 공기역학 효과(예: 블레이드 팁 와류)는 추상화되어 있어, 매우 공격적인 비행 체제에 적용하는 데 제한이 있을 수 있습니다.
• 센서 현실감 – 이벤트 카메라 노이즈 모델은 포함되어 있지만, 일부 하드웨어 특성(예: 온도 의존 드리프트, 렌즈 왜곡)은 아직 시뮬레이션되지 않았습니다.
• 단일 GPU를 넘어선 확장성 – 현재 구현은 시뮬레이션을 여러 GPU나 노드에 분산하지 않으며, 이는 대규모 다중 로봇 시나리오에서 병목 현상이 될 수 있습니다.
• ROS와의 통합 – 저자들은 ROS 2 래퍼를 제공할 계획이라고 언급했으며, 이는 기존 로봇 스택에서의 채택을 확대할 것입니다.

향후 작업은 물리‑센서 결합을 강화하고, 보다 다양한 센서군을 추가하며, 대규모 스웜 시뮬레이션을 위한 멀티 GPU 오케스트레이션을 탐구하는 것을 목표로 합니다.

저자

• Richeek Das
• Pratik Chaudhari

논문 정보

• arXiv ID: 2602.15018v1
• 분류: cs.RO, cs.CV
• 출판일: 2026년 2월 16일
• PDF: PDF 다운로드