[论文] 正则化随机傅里叶特征与有限元重构用于 Sobolev 空间的算子学习

Source: arXiv - 2512.17884v1

概述

本文解决了算子学习中的一个核心挑战——在无限维函数空间之间进行映射的基于数据的近似（例如，偏微分方程的解算子）。作者提出了一种**正则化随机傅里叶特征（RRFF）框架，并通过有限元重构（RRFF‑FEM）**步骤进行增强，即使在训练数据有噪声的情况下仍保持高精度，并且比传统的核方法或神经算子方法训练成本更低。

关键贡献

• RRFF 与 Student‑t 随机特征：从重尾多元 Student t 分布中抽取频率，提升对离群点和高频噪声的鲁棒性。
• 频率加权的 Tikhonov 正则化：对高频分量施加惩罚，使特征矩阵即使在随机特征数量较少的情况下也保持良好条件数。
• 理论保证：给出随机特征矩阵极端奇异值的高概率界；证明使用 (N = O(m \log m))（其中 (m) 为训练样本数）的特征即可实现稳定学习并获得可证明的泛化误差上界。
• RRFF‑FEM 重建：在随机特征空间学习算子后，利用有限元映射将输出投射回物理意义上的函数空间，保持 Sobolev 正则性。
• 大量实证验证：在 6 类 PDE（对流、Burgers 方程、Darcy 流、Helmholtz 方程、Navier‑Stokes 方程、结构力学）上的基准测试表明，方法在噪声鲁棒性、训练速度以及相对于最先进的核方法和神经算子方面的精度上均具竞争力。

方法论

1. 随机傅里叶特征 (RFF) – 通过采样随机频率 (\omega) 并构造特征 (\phi_\omega(u)=\exp(i\omega^\top u))，近似平移不变核 (k(x,y)=\kappa(x-y))。
2. Student‑t 采样 – 与常用的高斯分布不同，频率从多元 Student’s t 分布中抽取。厚尾特性提供了更丰富的基函数，能够更好地捕捉 PDE 解中的不规则性。
3. 频率加权的 Tikhonov 正则化 – 线性系统 (\Phi w \approx y)（其中 (\Phi) 包含输入函数的随机特征）通过正则项 (\lambda | \Lambda w|_2^2) 求解。对角权重矩阵 (\Lambda) 随 (|\omega|) 增大，对最易受噪声影响的高频分量进行衰减。
4. 有限元重构 – 在特征空间预测输出后，将系数投影到定义于物理域的有限元基上。此步骤强制 Sobolev 空间平滑性，并得到可直接用于后续仿真的函数。
5. 理论分析 – 通过矩阵浓度不等式对 (\Phi) 的奇异值进行界定，作者证明当特征数 (N = O(m\log m)) 时，系统以概率 (1-\delta) 条件良好。由此得到训练数据和测试数据的显式误差界。

结果与发现

• 噪声鲁棒性：RRFF‑FEM 的误差随噪声增加呈亚线性增长，而普通 RFF 和部分神经算子则急剧恶化。
• 训练效率：由于仅需 (N = O(m\log m)) 随机特征，线性系统即使在 (m) 为数千时也能在秒级求解，而此时完整的核矩阵已不可行。
• 精度：在所有测试中，RRFF‑FEM 的相对 L2 误差保持在 1–3 % 以内，匹配或优于最佳核/神经网络基线。

Practical Implications

• 快速代理模型：工程师可以用轻量级的 RRFF‑FEM 代理模型替代昂贵的 PDE 求解器，该模型在几分钟内完成训练，毫秒级完成评估，从而实现实时控制、优化或不确定性量化。
• 对传感器噪声的鲁棒性：在地球物理或流体‑结构监测等领域，数据常常噪声较大。频率加权正则化使得学习到的算子能够容忍此类缺陷，而无需昂贵的数据清洗流程。
• 可扩展至大规模数据集：由于该方法仅需 (N \approx m\log m) 个特征，能够扩展到数千个训练仿真，远超经典核方法的立方成本。
• 可直接嵌入现有 FEM 流程：重构步骤使用标准有限元基函数，这意味着开发者可以将 RRFF‑FEM 集成到已有的 FEM 软件（如 FEniCS、deal.II）中，只需极少的代码修改。
• 混合模型的基础：该方法可以与物理信息正则化器结合，或嵌入多保真度框架，为构建更精确、数据驱动的科学计算工具提供路径。

Source: …

限制与未来工作

• Heavy‑tailed frequency sampling 仍可能在高度异质介质中遗漏非常局部的特征；自适应采样策略有望提升覆盖率。
• 现有理论假设训练对是 i.i.d. 且噪声有界；将保证扩展到相关噪声或非高斯噪声仍是未解之题。
• 实验主要聚焦于 2‑D 问题；向高维（3‑D+时间）域扩展需要仔细的内存管理，并可能需要层次化特征构建。
• 与 online learning（在新数据到达时更新算子）的集成尚未涉及；未来工作可以探索增量式 RRFF 更新。

底线：RRFF‑FEM 提供了一条数学上有依据、抗噪且计算高效的学习 PDE 解算子路径——使得高保真代理模型对实际仿真流水线的开发者和工程师更加易于使用。

作者

• Xinyue Yu
• Hayden Schaeffer

论文信息

• arXiv ID: 2512.17884v1
• 分类: cs.LG, math.NA, stat.ML
• 出版日期: 2025年12月19日
• PDF: 下载 PDF