[Paper] 고차원 대리 모델링을 이용한 폐쇄 루프 학습을 위한 Neural-Network-Parameterized Model Predictive Control

Source: arXiv - 2512.11705v1

Overview

이 논문은 데이터 기반 제어기 튜닝에서 실용적인 병목 현상인 폐루프 실험으로부터 고차원 제어기 파라미터 최적화 문제를 다룹니다. 베이지안 최적화(BO)에서 전통적으로 사용되는 가우시안 프로세스(GP) 대리 모델을 베이지안 신경망(BNN) 대리 모델로 교체함으로써, 파라미터 차원이 수백에서 수천 차원에 달하는 현대 모델 예측 제어(MPC) 설정에서도 더 빠르고 신뢰할 수 있는 학습이 가능함을 보여줍니다.

Key Contributions

• 고차원, 밀집된 MPC 파라미터화에 대한 GP‑기반 BO의 확장성 한계를 규명.
• 베이지안 신경망(유한 폭 및 무한 폭) 을 BO의 대리 모델로 제안.
• 카트‑폴 벤치마크에서의 실험 비교를 통해 BNN 대리 모델이 더 적은 실험으로 수렴하고, 1,000개 이상의 파라미터에서도 안정적으로 동작함을 입증 (GP는 붕괴).
• 문제 차원과 계산 예산에 따른 대리 모델 선택 가이드 제공.

Methodology

1. 폐루프 학습 루프 – 많은 튜닝 가능한 가중치를 가진 MPC가 시뮬레이션 플랜트에서 실행됩니다. 각 실험 후 폐루프 비용(예: 추적 오차 + 제어 노력)을 측정합니다.
2. 베이지안 최적화(BO) – BO는 비용‑파라미터 매핑의 확률적 대리 모델을 구축하고, 획득 함수(예: Expected Improvement)를 사용해 다음 파라미터 집합을 제안합니다.
3. 대리 모델 후보
   • Matérn 커널을 갖는 가우시안 프로세스(GP) – 전통적인 BO 대리 모델.
   • 유한 폭 베이지안 신경망(BNN) – 은닉 유닛 수가 적당한 신경망으로, 변분 추론을 통해 불확실성 추정치를 유지합니다.
   • 무한 폭 베이지안 신경망(Neural‑Tangents GP) – Neural Tangent Kernel(NTK)을 활용해 GP와 유사한 모델을 얻으며 차원 확장성에서 우수합니다.
4. 벤치마크 과제 – MPC의 비용 행렬과 호라이즌 가중치를 최대 1,200 차원의 벡터로 인코딩한 고전적인 카트‑폴 스윙‑업 문제.
5. 평가 – BO 반복 횟수에 따른 폐루프 비용을 추적하고, 수렴 속도, 최종 비용, 무작위 시드에 대한 강인성을 비교합니다.

Results & Findings

핵심 요약

• BNN 대리 모델은 실험 횟수를 크게 감소시킵니다(500‑차원 문제에서 GP 대비 약 30 % 감소).
• 무한 폭 BNN은 파라미터 벡터가 1 k 차원을 초과해도 성능을 유지하며, 이 영역에서 GP는 효과를 잃습니다.
• 고차원 복잡한 지형을 모델링하는 대리 모델의 능력이 적은 튜닝 사이클 후에도 낮은 폐루프 비용으로 직접 연결됩니다.

Practical Implications

• **MPC 개발자는 이제 대규모 가중치 행렬(예: 단계 비용, 최종 비용, 연성 제약)**을 손수 저차원화하지 않고 자동 튜닝할 수 있습니다.
• 실험 예산 감소 – 산업 현장에서 각 폐루프 시도는 비용이 많이 드는 하드웨어나 장시간 시뮬레이션을 요구할 수 있는데, BNN‑기반 BO는 예산을 1/3~1/2 수준으로 절감할 수 있습니다.
• 현대 임베디드 AI‑제어 스택에 확장 가능하며, 여기서는 제어기가 깊은 신경망이나 대규모 선형‑이차 레귤레이터로 파라미터화됩니다.
• 툴체인 통합 – 기존 Python 기반 BO 라이브러리(예: BoTorch, GPyTorch)에서 대리 모델 클래스를 교체하는 것만으로 적용 가능해 도입 장벽이 낮습니다.
• 안전‑중요 분야(자동차, 항공우주)에서도 BNN의 확률적 특성이 불확실성 추정 제공으로 안전한 탐색을 지원합니다.

Limitations & Future Work

• 계산 오버헤드 – 특히 유한 폭 BNN은 각 반복마다 학습 비용이 추가됩니다. 실시간 튜닝이 초저전력 하드웨어에서 요구될 경우 추가 최적화가 필요합니다.
• 벤치마크 범위 – 현재 연구는 단일 카트‑폴 과제에 국한되어 있습니다. 다관절 매니퓰레이터, 전력망 주파수 제어 등 고차원 플랜트에 대한 폭넓은 검증이 필요합니다.
• 획득 함수 튜닝 – 논문에서는 표준 Expected Improvement를 사용했으며, 매우 높은 차원에서 더 견고한 획득 전략을 탐색하면 추가 이득을 얻을 수 있습니다.
• 노이즈에 대한 강인성 – 실제 측정은 센서 노이즈와 외란을 포함하므로, 잡음이 있는 비용 신호에 대한 분석이 자연스러운 다음 단계입니다.

핵심 결론: 가우시안 프로세스 대리 모델을 베이지안 신경망으로 교체함으로써 샘플 효율적인 고차원 제어기 학습이 가능해졌으며, 이는 현대 MPC와 AI‑보강 제어 시스템의 복잡성이 증가하는 흐름에 잘 맞는 기술적 진보입니다.

Authors

• Sebastian Hirt
• Valentinus Suwanto
• Hendrik Alsmeier
• Maik Pfefferkorn
• Rolf Findeisen

Paper Information

• arXiv ID: 2512.11705v1
• Categories: cs.LG, eess.SY
• Published: December 12, 2025
• PDF: Download PDF