[Paper] 엔드‑투‑엔드 자율주행을 위한 생성 시나리오 롤아웃

Source: arXiv - 2601.11475v1

Overview

이 논문은 Generative Scenario Rollouts (GeRo) 를 소개한다. 이는 vision‑language‑action (VLA) 모델을 순수 모방 학습에서 생성형, 언어‑조건부 플래너로 확장하는 플러그‑앤‑플레이 프레임워크이며, 자율 주행을 위해 설계되었다. 모델이 미래 교통 장면을 상상하고 “what‑if” 질문에 답하도록 함으로써, GeRo는 자연어 설명을 통해 추론 과정을 추적 가능하게 유지하면서 더 신뢰할 수 있는 장기 의사결정을 달성한다.

주요 기여

• Joint planning & scene generation: VLA 모델을 학습시켜 자율주행 차량(ego‑vehicle)과 주변 에이전트를 잠재 토큰으로 인코딩하고, 이를 행동 예측 및 미래 장면의 자동 회귀 생성에 활용합니다.
• Language‑grounded rollouts: 텍스트 시나리오 설명과 생성된 잠재 토큰을 정렬하는 rollout‑consistency 손실을 도입하여 장기 예측 시 드리프트를 감소시킵니다.
• Plug‑and‑play architecture: GeRo는 기존 VLA 백본에 별도 설계 없이 바로 연결할 수 있어 인식 및 제어 스택을 재구성할 필요가 없습니다.
• Reinforcement‑learning integration: 생성형 rollout과 RL 파인‑튜닝을 결합해 Bench2Drive 벤치마크에서 최첨단 성능을 달성합니다 (운전 점수 ↑15.7, 성공률 ↑26.2 %).
• Zero‑shot robustness: 언어‑조건부 추론이 보이지 않는 교통 구성 및 날씨 조건에서도 성능을 향상시킴을 입증했습니다.

방법론

1. 동역학 토큰화:

   • 멀티 카메라 이미지와 차량 상태는 비전 인코더에 의해 처리됩니다.
   • 언어 인코더는 현재 시나리오에 대한 텍스트 설명을 입력받습니다 (예: “보행자가 횡단보도를 건너고 있다”).
   • 두 모달리티는 모든 에이전트의 상태를 나타내는 공유 잠재 토큰 공간으로 융합됩니다.

2. 다중 작업 감독:

   • Planning loss – 자차의 다음 제어 명령을 예측합니다.
   • Motion loss – 주변 에이전트의 단기 궤적을 예측합니다.
   • Language alignment loss – 시나리오 설명으로부터 잠재 토큰을 예측 가능하도록 강제하여 이후 텍스트 조건 생성이 가능하도록 합니다.

3. 자동회귀 롤아웃:

   • 현재 잠재 토큰에서 시작하여, GeRo는 시나리오 프롬프트 (예: “신호등이 빨간색으로 바뀐다”)에 조건화된 다음 토큰 집합을 샘플링합니다.
   • 새로 생성된 토큰은 모델에 다시 입력되어 다음 단계를 생성하고, 원하는 시간 범위까지 반복됩니다.

4. 롤아웃 일관성 손실:

   • 학습 중에 모델은 실제 미래 토큰 또는 교사 네트워크가 생성한 의사 라벨을 재구성하도록 요구됩니다.
   • 이 손실은 생성된 롤아웃과 기준 사이의 차이를 벌점으로 부과하여, 다수 단계에 걸쳐 언어‑행동 정렬이 안정적으로 유지되도록 합니다.

5. 강화 학습 미세조정:

   • 생성적 롤아웃은 정책 개선을 위한 시뮬레이터 역할을 합니다.
   • 표준 RL 목표(예: 충돌 회피, 차선 유지)는 사전 학습된 VLA+GeRo 스택 위에서 최적화됩니다.

결과 및 발견

• 시간적 일관성: 생성된 롤아웃은 시뮬레이션 주행 10 초까지 일관성을 유지하며, 이전 VLA 롤아웃이 몇 초 후에 붕괴되는 것보다 훨씬 깁니다.
• 해석 가능성: 모델은 “보행자가 건너가려 하니 속도를 줄인다”와 같이 행동에 대한 자연어 설명을 출력할 수 있으며, 인간 평가자에 의해 82 % 정확도로 검증되었습니다.
• RL 시너지: GeRo 위에 RL을 추가하면 클로즈드‑루프 안전 지표(충돌률 ↓ 34 %)가 향상되면서도 생성 능력을 희생하지 않습니다.

Practical Implications

• Safer simulation‑in‑the‑loop testing: 개발자는 GeRo를 사용하여 실시간으로 현실적인 언어‑기반 교통 시나리오를 생성할 수 있어, 수작업으로 만든 테스트 맵의 필요성을 줄일 수 있습니다.
• Explainable autonomous agents: 자연어 응답은 엔지니어와 규제 기관에게 특정 동작이 선택된 이유에 대한 읽기 쉬운 감사 기록을 제공합니다.
• Rapid prototyping of new policies: GeRo가 플러그인 형태로 동작하기 때문에 기존 인식‑계획 스택을 최소한의 코드 변경으로 장기 추론을 지원하도록 업그레이드할 수 있습니다.
• Zero‑shot adaptation: 차량 운영자는 “학교 구역을 고위험으로 간주한다”와 같은 고수준 텍스트 업데이트를 발행하면, 모델이 인식 레이어를 재학습하지 않고도 즉시 행동을 조정합니다.
• Multi‑agent coordination: 생성 롤아웃을 공동 시나리오 설명에 조건화함으로써 협력 동작(예: 합류)을 예측하도록 확장할 수 있으며, V2X 기반 계획의 가능성을 열어줍니다.

제한 사항 및 향후 연구

• 토큰 길이 확장성: 자기회귀 생성은 ~15 초를 초과하는 시간대에서 계산 비용이 크게 증가합니다; 향후 연구에서는 계층적 롤아웃이나 확산 기반 생성 방식을 탐구할 수 있습니다.
• 고품질 언어 주석에 대한 의존성: 현재 학습 데이터는 정제된 시나리오 캡션을 사용합니다; 잡음이 많고 크라우드소싱된 설명으로 확장하려면 강인한 언어 기반 정합 기술이 필요할 수 있습니다.
• 실제 센서 노이즈와의 도메인 격차: Bench2Drive는 시뮬레이션 벤치마크이며, GeRo를 실제 차량에 적용하려면 추가적인 도메인 적응 전략(예: 자체 지도 학습 파인튜닝)이 필요합니다.
• 멀티모달 확장: 라이다 또는 레이더 토큰을 도입하면 악천후에서의 견고성을 향상시킬 수 있으며, 이는 저자들이 조사하려는 방향입니다.

핵심 요약: GeRo는 자율주행 모델을 생성적이며 언어 조건부 추론 엔진으로 다루면 안전성, 해석 가능성, 적응성을 향상시킬 수 있음을 보여줍니다—이는 차세대 자율주행 시스템을 구축하는 개발자들이 점점 더 요구하는 특성입니다.

저자

• Rajeev Yasarla
• Deepti Hegde
• Shizhong Han
• Hsin-Pai Cheng
• Yunxiao Shi
• Meysam Sadeghigooghari
• Shweta Mahajan
• Apratim Bhattacharyya
• Litian Liu
• Risheek Garrepalli
• Thomas Svantesson
• Fatih Porikli
• Hong Cai

논문 정보

• arXiv ID: 2601.11475v1
• Categories: cs.CV
• Published: 2026년 1월 16일
• PDF: PDF 다운로드