[论文] 关于 Autoencoder 降阶模型中几何正则化及其潜在 Neural ODE 动力学

Source: arXiv - 2603.03238v1

（请提供您希望翻译的正文内容，我将为您翻译成简体中文。）

概述

本文探讨了基于自编码器的降阶模型（ROM）中潜在空间的几何结构如何影响在将动力学表示为神经常微分方程（Neural ODE）时学习到的动力学质量。作者以对流‑扩散‑反应（ADR）方程为测试平台，比较了在自编码器预训练期间使用的四种正则化技巧，并指出只有一种——将第一解码层投影到 Stiefel 流形上——能够始终产生更为稳定的长期预测。

关键贡献

• 系统比较四种几何正则化技术 在编码器‑解码器 ROM 中的潜在表示。
• 实证证据 表明，尽管近等距、随机增益和曲率惩罚可以提升局部解码器平滑度，但它们可能 损害 下游 Neural ODE 的训练。
• 演示 将第一层解码器投影到 Stiefel 流形可以改善潜在动力学的条件数，从而实现更好的长时域展开。
• 有洞察力的假设：在此情境下，潜在几何与动力学模型之间的不匹配可能抵消更平滑解码器的收益。
• 开源实验流水线（论文中隐含），可用于其他基于 PDE 的 ROM 研究。

方法论

1. 问题设置 – ADR 方程（结合输运、扩散和反应的经典 PDE）在细网格上离散，以生成高维快照。
2. 自编码器预训练 – 卷积编码器将快照压缩为低维潜在向量；解码器重建完整场。在此阶段，应用四种正则化器之一：
   • (a) 近等距 – 对解码器雅可比矩阵偏离正交矩阵的程度进行惩罚，鼓励体积保持映射。
   • (b) 随机增益 – 采样随机方向并惩罚解码器线性响应中的大增益。
   • (c) 方向曲率 – 添加二阶惩罚，抑制解码器输出表面的急剧弯曲。
   • (d) Stiefel 投影 – 强制第一层解码器的权重矩阵保持在 Stiefel 流形上（即正交归一）。
3. 潜在动力学学习 – 在编码器和解码器冻结的情况下，训练 Neural ODE 预测潜在状态的时间演化。ODE 向前积分，以通过解码器生成完整场的滚动预测。
4. 评估 – 使用多个随机种子评估鲁棒性。指标包括重建误差、雅可比条件数，以及最重要的长时滚动预测误差（相对于真实 ADR 解）。

结果与发现

关键要点是，仅关注解码器几何的正则化器可能会无意中产生不适合 Neural ODE 的潜在空间，导致误差随时间累积。Stiefel 投影通过在解码器早期强制正交归一性，使潜在坐标与动力学模型对齐，从而实现更好的整体性能。

实际意义

• 基于模型的控制与仿真 – 构建流体或反应传输快速代理模型的工程师可以采用 Stiefel 投影解码器，以在不牺牲重构质量的前提下获得更可靠的长期预测。
• 训练流水线 – 在将自编码器与下游 ODE/类 ODE 学习器（Neural ODE、物理信息网络等）耦合时，正则化动力学而非仅正则化解码器更为安全。
• 软件工具 – 实现 Stiefel 投影相对简单（例如在每次梯度更新后通过 QR 重新正交化），几乎不增加额外开销，因而适用于生产级 ROM 库。
• 可解释性 – 正交的解码层保持潜在空间中的距离，这可以简化后续任务，如聚类、不确定性量化或在相关 PDE 之间的迁移学习。

限制与未来工作

• 单一 PDE 测试案例 – 本研究聚焦于一种 ADR 配置；在高度湍流或多尺度系统中结果可能会有所不同。
• 固定的编码器/解码器架构 – 只考察了一种网络设计；更深或残差编码器可能会与正则化项产生不同的交互。
• 神经 ODE 作为唯一的动力学模型 – 其他潜在动力学习器（例如循环网络、基于 Transformer 的积分器）未进行评估。
• 可扩展性 – 实验使用了适度的潜在维度；尚不清楚这些发现如何推广到 3D CFD 中常见的超高维潜在空间。

未来的研究可以将基准套件扩展到更广泛的 PDE 集合，探索带有几何感知损失的编码器‑解码器与动力学的联合训练，并研究自适应正则化，以在运行时平衡解码器平滑性与潜在动力学的条件性。

作者

• Mikhail Osipov

论文信息

• arXiv ID: 2603.03238v1
• 分类: cs.LG, math.NA, physics.comp-ph
• 发表时间: 2026年3月3日
• PDF: 下载 PDF