[Paper] 스테레오와 Mid-Level Vision을 활용한 동적 도시 내비게이션 강화

Source: arXiv - 2512.10956v1

개요

이 논문은 StereoWalker라는 로봇 내비게이션 기반 모델을 소개합니다. 이 모델은 스테레오 카메라 입력과 명시적인 중간 수준 비전(깊이 추정 및 밀집 픽셀 트래킹)을 결합합니다. 풍부한 시각 단서를 활용함으로써, 저자들은 동적이고 구조화되지 않은 도시 환경에서의 내비게이션을 기존의 단일 카메라 기반 접근법보다 훨씬 적은 데이터와 높은 정확도로 학습할 수 있음을 보여줍니다.

주요 기여

• 스테레오 강화 내비게이션 모델: 동기화된 좌·우 이미지 쌍을 입력으로 받아들여 단일 카메라 비전에서 발생하는 깊이‑스케일 모호성을 제거합니다.
• 중간 수준 비전 통합: 기존의 깊이 및 밀집 트래킹 모듈을 명시적인 입력으로 사용해 정책 네트워크에 기하학적·운동학적 사전 정보를 제공합니다.
• 대규모 스테레오 내비게이션 데이터셋: 인터넷에서 수집한 스테레오 비디오 클립에 자동으로 생성된 행동 라벨을 부착한 새로운 데이터셋을 구축하고, 커뮤니티 사용을 위해 공개합니다.
• 데이터 효율성 혁신: StereoWalker가 기존 단일 카메라 모델이 필요로 하는 학습 데이터의 **1.5 %**만으로도 최첨단 성능을 달성함을 보여줍니다.
• 실증적 우수성: 전체 데이터셋을 사용할 경우, StereoWalker는 여러 동적 장면 벤치마크에서 현재 최고의 단일 카메라 내비게이션 베이스라인을 능가합니다.

방법론

1. 데이터 수집 및 라벨링

• YouTube 3‑D 콘텐츠 등 공개된 스테레오 비디오 시퀀스를 수천 개 수집했습니다.
• 휴리스틱 컨트롤러(예: 시각‑오도메트리 기반 웨이포인트 추종)를 적용해 의사‑그라운드‑트루스 내비게이션 행동을 생성하고, 이를 자체 지도 학습 신호로 활용했습니다.

2. 중간 수준 비전 모듈

• 깊이 추정: 사전 학습된 스테레오 disparity 네트워크(예: RAFT‑Stereo)를 사용해 픽셀당 깊이 맵을 생성합니다.
• 밀집 픽셀 트래킹: 최신 광류 모델(예: RAFT‑Flow)을 이용해 프레임 간 픽셀 단위 움직임 벡터를 제공합니다.
• 두 출력은 원시 좌·우 RGB 프레임과 함께 연결되어 다채널 관측 텐서를 형성합니다.

3. 정책 아키텍처

• 컨볼루션 인코더가 쌓인 관측을 처리해 압축된 잠재 표현을 추출합니다.
• 순환 코어(GRU)가 시간적 의존성을 포착해 동적 장애물에 대응합니다.
• 경량 MLP 헤드가 은닉 상태를 연속 제어 명령(선형·각속도)으로 매핑합니다.

4. 학습 절차

• 생성된 행동 라벨을 이용한 지도 모방 학습.
• 커리큘럼 학습: 정적 장면에서 시작해 점차 동적 교통 및 보행자를 도입합니다.
• 데이터 증강(무작위 크롭, 조명 잡음)으로 견고성을 향상시킵니다.

5. 평가

• 두 개의 도시 내비게이션 시뮬레이터(CARLA‑Dynamic, Habitat‑Urban)에서 이동 에이전트와 다양한 조명 조건을 포함해 벤치마크했습니다.
• 평가 지표: 성공률(목표 도달), 충돌률, 경로 효율성, 샘플 효율성(학습 데이터 양 대비 성능)

결과 및 고찰

• 스테레오 입력만으로도 기존 단일 카메라 베이스라인을 능가하여 깊이‑스케일 해결이 핵심 요인임을 확인했습니다.
• 깊이 + 광류 결합이 가장 큰 성능 향상을 가져왔으며, 특히 보행자 궤적 예측에 도움이 되는 움직임 단서가 중요한 혼잡 장면에서 두드러졌습니다.
• 샘플 효율성: 데이터의 1.5 %만 사용해도 단일 카메라 최첨단 모델의 전체 데이터 성능에 근접함을 보여, 명시적 기하학적 사전 정보의 가치를 강조합니다.

실용적 함의

• 데이터 수집 비용 절감: 개발자는 전통적으로 필요했던 방대한 비디오 데이터의 일부만으로도 충분히 성능 좋은 내비게이션 정책을 학습할 수 있어 저장 및 라벨링 비용이 크게 감소합니다.
• 하드웨어 구현 가능성: 스테레오 카메라는 현재 저렴하고 모바일 로봇 및 자율주행 차량에 널리 지원되므로, 전체 인식 스택을 재설계하지 않아도 즉각적인 성능 향상이 가능합니다.
• 모듈식 시스템 설계: 깊이와 광류를 플러그‑인 형태로 취급함으로써 기존 로봇 파이프라인이 StereoWalker를 별도 인식 네트워크 재학습 없이도 도입할 수 있습니다.
• 동적 환경에서의 안전성 향상: 명시적 움직임 이해는 이동 장애물을 예측하는 데 도움을 주어 배달 로봇, 창고 AGV, 라스트마일 자율 차량 등에 필수적인 요구 사항을 충족합니다.
• 오픈 데이터셋 및 벤치마크: 공개된 스테레오 내비게이션 데이터셋은 향후 내비게이션 기반 모델을 평가하는 새로운 표준을 제공하며, 커뮤니티 주도의 발전을 촉진합니다.

한계 및 향후 연구

• 보정된 스테레오 리그에 의존: 정렬 불량이나 베이스라인 드리프트가 깊이 품질을 저하시킬 수 있으며, 논문에서는 잘 보정된 하드웨어를 전제로 합니다.
• 합성 행동 라벨: 의사‑그라운드‑트루스 행동은 휴리스틱 컨트롤러에 의해 생성되므로 전문가 인간 전략을 완전히 반영하지 못할 수 있습니다. 실제 시연 데이터를 활용하면 정책 품질이 더욱 향상될 수 있습니다.
• 도메인 격차: 인터넷 스테레오 비디오(실내·시네마틱)에서 학습한 모델은 실제 도시 배치에서의 센서 노이즈와 조명 조건을 완전히 대변하지 않을 수 있습니다.
• 고수준 추론으로의 확장성: 현재 모델은 저수준 제어에 초점을 맞추고 있어, 의미 지도나 장기 계획을 포함하는 고수준 추론으로 확장하는 것은 아직 해결되지 않은 과제입니다.

저자

• Wentao Zhou
• Xuweiyi Chen
• Vignesh Rajagopal
• Jeffrey Chen
• Rohan Chandra
• Zezhou Cheng

논문 정보

• arXiv ID: 2512.10956v1
• Categories: cs.CV
• Published: December 11, 2025
• PDF: Download PDF