[Paper] 폐쇄‑루프 엔드‑투‑엔드 자율 주행을 위한 모델 기반 정책 적응

Source: arXiv - 2511.21584v1

Overview

이 논문은 Model‑Based Policy Adaptation (MPA) 라는 플러그인 프레임워크를 소개한다. 사전 학습된 엔드‑투‑엔드(E2E) 자율주행 모델을 실제 차량 주행(폐루프) 상황에서 보다 안전하고 신뢰할 수 있게 만든다. 기하학적으로 일관된 시뮬레이터로 “what‑if” 주행 시나리오를 합성하고, 원본 정책을 조정하는 방법을 학습함으로써 MPA는 인상적인 오프라인 벤치마크와 실제 환경의 견고성 사이의 격차를 메운다.

Key Contributions

• 반사실적 궤적 생성: 고충실도, 기하학을 고려한 시뮬레이터를 사용해 원본 학습 데이터에 존재하지 않는 다양한 현실적인 주행 시나리오를 만든다.
• Diffusion 기반 정책 어댑터: 경량 Diffusion 모델을 학습시켜 기본 E2E 정책의 출력을 정제하고, 생성된 데이터에 대해 예측을 “수정”한다.
• 다단계 Q‑값 추정기: 장기 가치 함수를 학습해 후보 궤적을 점수화함으로써 추론 시 가장 안전하고 효율적인 계획을 선택할 수 있게 한다.
• nuScenes 폐루프 평가: 포토리얼리틱 시뮬레이터를 활용해 도메인 내·외 및 안전‑중요 테스트에서 상당한 성능 향상을 입증, 접근법이 개방형 메트릭을 넘어 실제 적용 가능함을 확인한다.
• 데이터 규모 및 가이드라인에 대한 Ablation: 반사실적 데이터 양과 다양한 추론‑시 가이드 전략(예: 후보 수, 온도)이 성능에 미치는 영향을 보여주어 실운용 시 조정 가능한 파라미터를 제공한다.

Methodology

1. 사전 학습된 E2E 주행 모델을 시작점으로 사용 (예: nuScenes에서 학습된 perception‑to‑control 네트워크).
2. 반사실적 주행 데이터 생성:
   • 저자들은 교통 참여자, 도로 형상, 날씨 등을 물리적으로 타당하게 변형할 수 있는 기하학‑일관 시뮬레이션 엔진을 구축했다.
   • 이 엔진은 기본 모델이 한 번도 보지 못한 “what‑if” 궤적을 대량으로 생성한다.
3. Diffusion 기반 정책 어댑터 학습:
   • 어댑터는 기본 모델의 원시 궤적 예측과 그에 대한 여러 노이즈 버전을 입력받아, 반사실적 데이터를 이용해 더 안전한 궤적으로 디노이즈하는 방법을 학습한다.
   • Diffusion 모델은 다중 모달 출력을 자연스럽게 다룰 수 있고, 교통 밀도와 같은 추가 컨텍스트에 조건화할 수 있어 선택되었다.
4. 다단계 Q‑값 모델 학습:
   • 별도의 네트워크가 후보 궤적에 대해 여러 미래 단계에 걸친 기대 누적 보상(예: 진행도, 충돌 회피)을 예측한다.
   • 동일한 시뮬레이션 롤아웃을 사용해 학습함으로써 장기적인 결과에 대한 감각을 갖게 된다.
5. 추론 파이프라인:
   • 어댑터가 현재 관측에 대해 N개의 후보 궤적을 제안한다.
   • Q‑값 모델이 각 후보를 점수화하고, 가장 높은 기대 효용을 가진 궤적이 실행된다.

전체 파이프라인은 모듈식이다: 任意의 사전 학습 E2E 정책, 任意의 Diffusion 아키텍처, 任意의 가치 추정기를 교체할 수 있어 MPA는 새로운 주행 스택이 아니라 일반적인 적응 레이어 역할을 한다.

Results & Findings

• 분포 이동에 대한 견고성: 10 k개의 반사실적 궤적만 추가해도 20% 이상의 향상이 나타나며, 30–40 k 정도에서 성능이 포화되어 수익 감소가 확인된다.
• 가이드라인 전략: 단계당 5개의 후보 궤적을 사용하는 것이 지연 시간과 안전성 사이의 최적 균형을 제공한다; 후보 수를 늘리면 안전성은 약간 개선되지만 연산량이 증가한다.
• Ablation: Q‑값 모델을 제거하고 어댑터가 제시한 최고 점수 궤적만 선택하면 성능이 거의 베이스라인 수준으로 떨어져, 장기 평가의 중요성을 확인한다.

Practical Implications

• 플러그‑앤‑플레이 안전 레이어: 개발자는 전체 perception‑control 파이프라인을 재학습하지 않고도 기존 E2E 주행 스택에 MPA를 손쉽게 부착할 수 있어 배포 속도가 빨라진다.
• 데이터 효율적인 견고성: 실제 도로에서 비용이 많이 드는 엣지 케이스를 수집하는 대신 시뮬레이터에서 합성 반사실적 데이터를 생성함으로써 비용을 크게 절감한다.
• 실시간 실행 가능성: Diffusion 어댑터와 Q‑값 스코어러는 최신 GPU에서 약 30 ms 내에 동작하여 일반적인 자율주행 perception‑control 루프(≈50 ms 예산) 안에 충분히 들어간다.
• 규제 테스트: MPA가 학습된 Q‑함수를 통해 장기 안전성을 명시적으로 평가하므로, 규제 기관의 감사나 안전 사례 문서화에 활용 가능한 정량적 지표를 제공한다.
• 다른 도메인으로의 전이: 동일한 적응 개념을 로봇공학, UAV 내비게이션, 혹은 사전 학습된 정책이 빠른 도메인 적응을 필요로 하는 모든 순차 의사결정 시스템에 적용할 수 있다.

Limitations & Future Work

• 시뮬레이터 충실도: 반사실적 데이터의 품질은 기하학‑일관 엔진이 실제 물리와 센서 노이즈를 얼마나 정확히 재현하느냐에 달려 있다; 차이가 있으면 실제 세계 전이 성능이 제한될 수 있다.
• Diffusion 모델의 확장성: 현재는 경량 어댑터를 사용했지만, 전체 스티어링 + 스로틀 곡선과 같은 고차원 행동 공간으로 확장하면 추론 지연이 증가할 가능성이 있다.
• 장기 신용 할당: 다단계 Q‑값 모델은 몇 초 정도만 앞을 내다보므로, 더 긴 시간 범위로 확장하면 전략적 계획이 개선될 수 있지만 보다 정교한 가치 추정이 필요하다.
• 실세계 검증: 실험은 포토리얼리틱 시뮬레이터에 국한되어 있다; 저자들은 센서 노이즈, 구동 지연, 예측 불가능한 인간 운전자를 포함한 실제 차량 시험이 필요하다고 언급한다.

전반적으로 MPA는 강력한 오프라인 E2E 주행 모델을 실제 도로의 복잡하고 예측 불가능한 상황에 대비할 수 있는 보다 안전하고 적응 가능한 에이전트로 전환하는 설득력 있는 레시피를 제공한다.

Authors

• Haohong Lin
• Yunzhi Zhang
• Wenhao Ding
• Jiajun Wu
• Ding Zhao

Paper Information

• arXiv ID: 2511.21584v1
• Categories: cs.RO, cs.AI
• Published: November 26, 2025
• PDF: Download PDF