[Paper] SymPlex：结构感知 Transformer 用于符号 PDE 求解

Source: arXiv - 2602.03816v1

（请提供您希望翻译的正文内容，我将为您翻译成简体中文并保持原有的格式。）

概述

本文介绍了 SymPlex，一种强化学习系统，能够自动发现偏微分方程（PDE）解的 精确符号公式。通过将公式搜索视为树结构的决策问题，并采用新颖的 结构感知 Transformer（SymFormer），该方法直接在数学表达式空间中工作——生成可读、可解释的解，而从未看到过真实答案。

关键贡献

• SymPlex 框架：将符号 PDE 求解视为强化学习问题，仅使用 PDE 本身及其边界条件来优化候选表达式。
• SymFormer 架构：一种 Transformer 变体，通过 树相对自注意力 尊重数学表达式的层次树结构，并通过语法约束的自回归解码保证输出在语法上有效。
• 结构感知生成：超越线性 token 序列（例如标准语言模型），直接建模符号数学的嵌套树状特性，提高表达能力和正确性。
• 非光滑和参数化解的精确恢复：展示系统能够发现包含分段定义、绝对值以及显式参数依赖的闭式解——这些情况是数值或隐式神经求解器难以处理的。
• 实证验证：表明 SymPlex 在一套基准 PDE 上匹配或超越先前的符号回归基线，在多个具有挑战性的示例上实现 100 % 的精确恢复。

方法论

1. Problem formulation – 目标是找到满足给定 PDE (\mathcal{L}[u]=0) 以及边界/初始条件的符号表达式 (u(x))。不提供任何训练数据（即已知解）。

2. Tree‑structured action space – 每个候选解被表示为语法树（运算符为内部节点，变量/常数为叶子）。RL 代理逐步构建该树，根据当前的部分结构选择下一个节点。

3. SymFormer encoder‑decoder

   • Encoder 使用标准 Transformer 处理 PDE 描述（运算符、变量、边界项）。
   • Decoder 生成解的树结构。它采用 tree‑relative self‑attention：注意力分数相对于父节点、兄弟节点和祖先节点计算，以保持数学表达式的层次依赖。
   • Grammar constraints 强制在每一步只能选择语法上合法的 token（例如，二元运算符后必须跟随两个子表达式）。

4. Reward signal – 完整表达式生成后，系统在从定义域中采样的协同点集合上进行评估。奖励由以下部分组合而成：

   • PDE residual loss（表达式满足微分方程的程度），
   • Boundary loss（表达式满足给定边界条件的程度），以及
   • Complexity penalty（倾向于更简洁的公式）。

5. Training loop – 使用策略梯度（REINFORCE）更新 decoder 参数，以最大化期望奖励；同时对 encoder 进行联合微调，使其更好地为 decoder 提供 PDE 上下文信息。

结果与发现

• 零误差解：对所有测试方程，SymPlex 生成的表达式在未见点上评估得到机器精度的零残差。
• 可解释性：恢复的公式简洁，可直接用于后续分析工作（例如稳定性分析）。
• 与基线的比较：传统符号回归方法（如 Eureqa、Deep Symbolic Regression）在非光滑或参数化情形下失败，而 SymPlex 始终成功。
• 消融实验：去除树相对注意力或语法约束会导致精确恢复率下降超过 30 %，验证了它们的重要性。

实际意义

• 快速原型化分析模型：工程师可以输入 PDE 描述，让 SymPlex 提出闭式解，加速控制律、材料模型或流体动力学近似的设计。
• 面向科学计算的可解释 AI：不同于输出离散场的黑箱神经 PDE 求解器，SymPlex 生成可检查、可微分并可嵌入更大符号流水线（例如符号优化、定理证明）的公式。
• 参数敏感设计：由于输出保留对物理参数的显式依赖，开发者可以进行灵敏度分析，或直接将解嵌入仿真代码而无需重新训练。
• 与现有工具链集成：生成的表达式采用标准数学语法，兼容 CAS（Mathematica、SymPy）以及高性能计算的自动代码生成器。
• 教育用途：学生和研究人员可以把 SymPlex 当作“符号助理”，用于验证手工推导的解或探索替代形式。

限制与未来工作

• 可扩展性到高维 PDE：当前实验仅限于 1‑D/2‑D 问题；扩展到 3‑D 或具有多个耦合场的系统将需要更高效的树搜索，可能还需要层次分解。
• 奖励评估成本：对复杂表达式计算 PDE 残差可能代价高昂；更智能的代理奖励或自适应采样可以降低开销。
• 文法表达能力：预定义的文法限制了运算符集合（例如没有贝塞尔函数或超几何函数等特殊函数）。未来工作可以动态学习或扩展文法。
• 跨 PDE 家族的泛化能力：虽然编码器学习了对单个 PDE 的条件化，但将知识转移到全新方程族仍是一个未解决的挑战。
• 对噪声或近似边界数据的鲁棒性：真实场景常伴随测量噪声；加入不确定性处理是一个有前景的方向。

作者

• Yesom Park
• Annie C. Lu
• Shao‑Ching Huang
• Qiyang Hu
• Y. Sungtaek Ju
• Stanley Osher

论文信息

• arXiv ID: 2602.03816v1
• 类别: cs.LG
• 发表时间: 2026年2月3日
• PDF: 下载 PDF