[Paper] 高维代理建模用于闭环学习的神经网络参数化模型预测控制

Source: arXiv - 2512.11705v1

概览

本文解决了数据驱动控制器调参中的一个实际瓶颈：从闭环实验中优化高维控制器参数。通过将贝叶斯优化（BO）中传统的高斯过程（GP）代理替换为 贝叶斯神经网络（BNN）代理，作者展示了即使参数空间达到数百甚至数千维（在现代模型预测控制（MPC）设置中很常见），学习也能更快、更可靠。

主要贡献

• 指出基于 GP 的 BO 在密集高维 MPC 参数化上的可扩展性限制。
• 提出将贝叶斯神经网络（包括有限宽度和无限宽度）作为 BO 的代理模型 用于控制参数学习。
• 在倒摆基准上进行实证比较，显示 BNN 代理在更少实验次数内收敛，并且在 >1,000 参数时仍保持稳定，而 GP 则失效。
• 提供实用指南，帮助根据问题维度和计算预算选择合适的代理模型。

方法论

1. 闭环学习循环 – 控制器（具有大量可调权重的 MPC）在仿真植物上运行。每次实验后，测量闭环代价（例如跟踪误差 + 控制努力）。
2. 贝叶斯优化（BO） – BO 构建代价与参数映射的概率代理，并使用获取函数（如期望改进）来提出下一个参数集合。
3. 代理候选
   • 带 Matérn 核的高斯过程（GP） – 经典的 BO 代理。
   • 有限宽度贝叶斯神经网络（BNN） – 具有适度隐藏单元的神经网络，使用变分推断进行训练以保留不确定性估计。
   • 无限宽度贝叶斯神经网络（Neural‑Tangents GP） – 利用神经切线核（NTK）得到类似 GP 的模型，在维度上具有更好可扩展性。
4. 基准任务 – 经典的倒摆摆起问题，MPC 的代价矩阵和时域权重被编码为最多 1,200 维的向量。
5. 评估 – 记录闭环代价随 BO 迭代次数的变化，比较收敛速度、最终代价以及不同随机种子下的鲁棒性。

结果与发现

关键要点

• BNN 代理显著降低所需实验次数（在 500 维问题上约比 GP 少 30 %）。
• 无限宽度 BNN 在参数向量超过 1 k 维时仍保持性能，而此时 GP 已失效。
• 代理对高维复杂景观的建模能力直接转化为更少调参周期后的更低闭环代价。

实际意义

• MPC 开发者现在可以自动调优大规模权重矩阵（如阶段代价、终端代价、软约束），无需手工设计低维参数化。
• 实验预算降低——在工业中，每次闭环试验可能涉及昂贵硬件或长时间仿真，基于 BNN 的 BO 可将预算削减三分之一至一半。
• 适用于现代嵌入式 AI‑控制堆栈，其中控制器由深度神经网络或大规模线性二次调节器参数化。
• 工具链集成——该方法可自然嵌入现有基于 Python 的 BO 库（如 BoTorch、GPyTorch），只需替换代理类，采纳门槛低。
• 安全关键领域（汽车、航空）受益于 BNN 的概率特性，仍能提供不确定性估计以实现安全探索。

局限性与未来工作

• 计算开销——训练 BNN（尤其是有限宽度）会增加每次迭代的成本；虽然仍比大量实验便宜，但在超低资源硬件上实时调参仍需进一步优化。
• 基准范围——研究仅聚焦单一倒摆任务；需要在更高阶系统（如多连杆机械手、电网频率控制）上进行更广泛验证。
• 获取函数调优——本文使用标准的期望改进；探索更鲁棒的高维获取策略可能带来额外收益。
• 对噪声的鲁棒性——实际测量常伴随传感器噪声和扰动；将分析扩展到噪声代价信号是自然的后续工作。

结论：通过用贝叶斯神经网络取代高斯过程代理，作者为 样本高效的高维控制器学习 打开了大门，这一能力与日益复杂的现代 MPC 与 AI 增强控制系统高度契合。

作者

• Sebastian Hirt
• Valentinus Suwanto
• Hendrik Alsmeier
• Maik Pfefferkorn
• Rolf Findeisen

论文信息

• arXiv ID: 2512.11705v1
• 分类: cs.LG, eess.SY
• 发布日期: 2025 年 12 月 12 日
• PDF: Download PDF