[Paper] PDE foundation models 是 火星大气 的 熟练 AI 天气仿真器

Source: arXiv - 2602.15004v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文并保持原有的格式。

概览

作者展示了一个 在海量偏微分方程（PDE）解库上预训练的基础模型 可以微调为高保真度的火星大气天气模拟器。通过将 2‑D Poseidon 模型扩展到 3‑D，并仅使用四个火星年的数据进行训练，他们实现了 预测技能提升 34 %，同时保持计算成本适中（≈13 GPU‑小时）。

关键贡献

• PDE‑基础预训练管线：利用多样化的数值 PDE 解集合学习通用的时空动力学。
• 3‑D 模型扩展技术：提出一种轻量级方法，将 2‑D Poseidon 架构提升至三维，同时保留预训练知识。
• 稀疏初始条件处理：展示模型在仅有部分观测时仍保持鲁棒——这在行星任务中很常见。
• 高效微调：仅使用约 34 GB 训练数据和中位数 13 GPU 小时的计算预算，就实现了最先进的火星天气预测。
• 实证验证：报告相较于从头训练的基线，在保留的火星年度上预测准确率提升了 34.4 %。

方法论

1. 在 PDE 语料库上进行预训练

   • 收集了大量异构的二维 PDE 仿真（流体动力学、扩散、波动方程等）。
   • 训练 Poseidon 类 Transformer 模型，以在给定时空补丁的情况下预测下一个时间步，学习 PDE 动力学的通用表示。

2. 扩展到三维

   • 为输入张量添加深度维度，并引入一组 深度方向注意力头，这些头与原始二维头共享权重。
   • 使用 参数高效适配器 注入三维位置编码，同时保留大部分预训练权重。

3. 在火星天气数据上微调

   • 使用四个火星年由基于物理的通用环流模型（GCM）生成的高分辨率大气场（温度、气压、风向量）。
   • 采用 基于掩码的训练 模拟稀疏传感器覆盖，迫使模型推断缺失值。
   • 使用 AdamW、余弦学习率调度，并基于验证 RMSE 进行提前停止。

4. 评估

   • 将第五个火星年留作测试。
   • 与从头训练的基线模型以及原始 GCM 输出进行比较。
   • 指标：均方根误差（RMSE）、异常相关系数（ACC）和计算吞吐量（每次预报所需秒数）。

结果与发现

• 相较于从头基线，RMSE降低了34.4 %。
• 异常相关性更高，表明更好地捕捉大尺度天气模式（例如沙尘暴）。
• 计算成本持平基线：预训练摊销了成本，因此微调仍然廉价。
• 当仅观测到空间网格的30 %时，模型仍能优雅降级，仍然优于基线。

实际意义

• 行星任务的快速原型：机构可以在机载或地面上使用最少的 GPU 资源生成准确的短期天气预报，帮助选择着陆点和漫游车操作。
• 可迁移的 AI‑天气引擎：相同的 PDE‑基础方法可以复用于地球、系外行星或海洋建模，显著降低数据收集和计算预算。
• 适合边缘部署：由于微调模型轻量（≈2 亿参数）且只需少量 GPU 小时即可训练，可打包为容器化服务用于实时预报流水线。
• 数据高效学习：展示了强大的基于物理的预训练阶段可以弥补领域特定观测稀缺的不足——这对任何处理有限传感器数据的开发者都是宝贵的经验。

限制与未来工作

• 二维预训练偏差：原始语料库仅限于二维偏微分方程；将预训练扩展到原生三维模拟可能进一步提升性能。
• 长程预测：在超过几个火星sol后准确性下降；整合循环校正环路或混合物理‑AI方案是一个未解之路。
• 对其他行星的泛化：虽然前景可观，但该方法需要在化学成分或动力学截然不同的大气（例如金星、泰坦）上进行验证。
• 可解释性：变压器内部的注意力图尚未以物理意义进行解释，这将有助于在任务关键型应用中建立信任。

结论：通过将大规模偏微分方程预训练与巧妙的模型扩展相结合，这项工作表明 AI 基础模型可以成为实用、计算节能的天气模拟器——这一突破有望加速行星环境中的科学发现和运营预测。

作者

• Johannes Schmude
• Sujit Roy
• Liping Wang
• Theodore van Kessel
• Levente Klein
• Marcus Freitag
• Eloisa Bentivegna
• Robert Manson‑Sawko
• Bjorn Lutjens
• Manil Maskey
• Campbell Watson
• Rahul Ramachandran
• Juan Bernabe‑Moreno

论文信息

• arXiv ID: 2602.15004v1
• 分类: cs.LG, physics.ao-ph
• 发布日期: 2026年2月16日
• PDF: 下载 PDF