[Paper] Distributionally Robust Imitation Learning: Certifiable Autonomy를 위한 Layered Control Architecture

Source: arXiv - 2512.17899v1

개요

이 논문은 Distributionally Robust Imitation Policy (DRIP) 를 소개한다. 이는 두 이전에 개발된 기법—Taylor Series Imitation Learning (TaSIL) 및 ℓ₁‑Distributionally Robust Adaptive Control (ℓ₁‑DRAC)—을 결합한 계층형 제어 아키텍처로, certifiable 자율 행동을 제공한다. 정책 오류에 의해 발생하는 분포 이동과 외란에 의해 발생하는 분포 이동을 모두 해결함으로써, DRIP은 보다 안전하고 신뢰할 수 있는 모방‑학습 시스템을 형식적으로 검증할 수 있게 약속한다.

주요 기여

• Unified Layered Architecture (LCA): TaSIL(정책 오류에 강인함)과 ℓ₁‑DRAC(알레아트릭/에피스테믹 불확실성에 강인함)을 단일 파이프라인으로 결합하고, 명확히 정의된 입력‑출력 계약을 제공한다.
• Distributionally Robust Imitation Policy (DRIP): 모방 학습에서 발생하는 두 가지 주요 분포 변동에 대해 이론적으로 강인함을 보장하는 제어 정책을 정식으로 정의한다.
• Certificate‑by‑Design Guarantees: 개별 구성 요소가 아니라 전체 제어 스택에 대해 수학적 인증서(예: 제한된 추적 오차, 안전 여유)를 제공한다.
• Modular Integration of Learning Modules: 인식 혹은 고수준 계획 모듈(대부분 블랙박스 신경망)을 DRIP 레이어로 안전하게 감싸는 방법을 제시한다.
• Experimental Validation: 벤치마크 동적 시스템(예: 역진자, 쿼드로터)에서 DRIP을 실험적으로 검증하여, 기존 모방 학습이나 독립적인 TaSIL/ℓ₁‑DRAC에 비해 오류 누적이 감소하고 외란에 대한 복원력이 향상됨을 보여준다.

방법론

1. 문제 분해

   • Layer 1 (TaSIL): 전문가 정책의 1차 테일러 전개를 사용하여 피드백 선형화 항을 생성하고, 학습된 정책의 오류를 보정합니다. 이 레이어는 모방 학습에서 흔히 발생하는 “오류 누적” 문제를 완화합니다.
   • Layer 2 (ℓ₁‑DRAC): ℓ₁‑적응 제어기를 구현하여 실시간으로 알려지지 않은 동역학 및 외부 교란을 추정하고 상쇄함으로써 모델 불일치와 확률적 교란에 대한 강인성을 제공합니다.

2. 인터페이스 설계

   • 각 레이어는 계약(예: 제한된 입력 크기, 요구되는 상태공간 영역)을 게시하고, 하위 레이어는 이를 만족해야 합니다.
   • 전체 제어기는 두 레이어를 연속적으로 연결한 형태이며, TaSIL의 출력이 ℓ₁‑DRAC에 입력되고, ℓ₁‑DRAC이 플랜트를 구동합니다.

3. 강인성 분석

   • 저자들은 분포 강인 최적화 문제를 공식화하여, 교란의 최악 경우 분포를 애매성 집합(예: Wasserstein ball)으로 포착합니다.
   • Lyapunov 논증과 ℓ₁‑적응 이론을 이용해, 애매성 집합 내의 모든 교란에 대해 폐루프 시스템이 안정성을 유지하고 안전 제약을 만족한다는 것을 증명합니다.

4. 구현 세부 사항

   • 실시간 계산(< 5 ms per control step)으로 시뮬레이션 플랫폼에서 시연되었습니다.
   • 신경망 정책은 전문가 궤적을 사용해 오프라인으로 학습한 뒤, 런타임에 DRIP 레이어로 감싸서 사용합니다.

결과 및 발견

• 오류 누적: DRIP는 vanilla imitation learning에 비해 누적 추적 오류를 최대 65 % 감소시킵니다.
• 안전 보장: 형식적 인증서는 상태 제약(예: 관절 제한, 고도 한계)이 모델링된 교란 집합 하에서 절대 위반되지 않음을 확인합니다.
• 계산량: 계층적 접근 방식은 제어 사이클당 약 ~2 ms의 오버헤드만 추가하여 임베디드 실시간 시스템에 적용 가능하게 합니다.

실용적 함의

• 보다 안전한 자율주행 차량: DRIP은 인식 기반 플래너(예: 차선 유지 네트워크)를 래핑하여 센서 노이즈나 모델 오류가 급증하더라도 차량이 안전 영역을 준수하도록 보장합니다.
• 로봇 및 드론: 개발자는 로봇이 모델링되지 않은 적재물이나 돌풍을 만나도 재앙적인 드리프트를 우려하지 않고 조작기나 UAV에 학습된 조작 정책을 배포할 수 있습니다.
• 신속한 프로토타이핑: 모듈식 계약을 통해 팀은 학습 컴포넌트(비전, 언어)를 검증된 적응형 컨트롤러와 자유롭게 조합할 수 있어 검증 주기를 단축합니다.
• 규제 준수: DRIP이 생성하는 공식 인증서는 안전이 중요한 분야에서 떠오르는 “인증 가능한 AI” 표준에 부합하여 인증 절차를 용이하게 합니다.

Source: …

제한 사항 및 향후 연구

• 선형화 가능한 동역학 가정: TaSIL은 1차 테일러 전개에 의존하므로, 매우 비선형이거나 불연속적인 동역학에서는 성능이 저하될 수 있습니다.
• 불확실성 집합 선택: 견고성 보장은 선택된 분포 불확실성 집합(예: Wasserstein 반경)에 달려 있습니다. 과도하게 보수적인 선택은 불필요하게 느린 제어를 초래할 수 있습니다.
• 고차원 시스템에 대한 확장성: 논문은 저차원에서 중차원 플랫폼에 대한 성공을 보여주지만, 인간형 로봇과 같은 매우 고차원 상태 공간으로 DRIP을 확장하려면 추가적인 차원 축소 기법이 필요할 수 있습니다.
• 실제 환경 검증: 실험이 시뮬레이션에 국한되어 있으므로, 향후 연구에서는 다양한 환경 조건 하에서 하드웨어‑인‑더‑루프 테스트와 현장 시험을 포함해야 합니다.

핵심 요약: DRIP은 개발자가 학습 기반 모듈을 안전‑중요 제어 루프에 통합하면서도 형식적인 성능 보장을 유지할 수 있는 실용적인 경로를 제공하며, 진정으로 인증 가능한 자율 시스템을 향한 한 걸음 앞으로 나아갑니다.

저자

• Aditya Gahlawat
• Ahmed Aboudonia
• Sandeep Banik
• Naira Hovakimyan
• Nikolai Matni
• Aaron D. Ames
• Gioele Zardini
• Alberto Speranzon

논문 정보

• arXiv ID: 2512.17899v1
• Categories: eess.SY, cs.LG
• Published: 2025년 12월 19일
• PDF: PDF 다운로드