[论文] 针对自相关数据的快速高斯过程近似

Source: arXiv - 2512.02925v1

Overview

高斯过程（GP）是灵活的非线性回归的首选工具，但其 (O(N^3)) 的时间复杂度使其在大规模、时间相关的数据集上难以实用。本文提出了一套快速 GP 近似方法，显式保留自相关性，避免了笨拙捷径中常见的“时间过拟合”。作者展示了通过分块和去相关化数据，可以在显著降低计算时间的同时保持 GP 的精度。

Key Contributions

• 块级去相关化策略：提出一种系统化的方法，将自相关序列划分为近似独立的块，从而可以不加修改地使用现有稀疏 GP 近似。
• 三种流行 GP 近似的块化适配（诱导点、结构化核插值和局部 GP 方法），并给出理论依据。
• 全面的实证评估：在合成和真实时间序列基准（气候、金融、传感器网络）上展示了 5–30 倍的加速，且预测精度几乎不受影响。
• 开源实现（Python/NumPy），可与主流 GP 库（GPy、GPflow）无缝集成，降低了实践门槛。

Methodology

1. 确定自相关长度——使用标准工具（如自相关函数、谱密度），作者估计出一个相关视界 (L)，超出该视界的观测基本独立。
2. 创建块——将时间序列切分为大小约为 (L) 的重叠窗口。对每个块进行线性变换（例如块协方差的 Cholesky 分解）以去相关化，使块内数据近似为 i.i.d. 噪声。
3. 应用现有 GP 近似——去相关化后，任何假设 i.i.d. 噪声的快速 GP 方法都可以在每个块上独立运行。作者对三种代表性近似进行了适配：
   • 诱导点（稀疏变分 GP）——为每个块选择诱导位置，求解降维的变分目标。
   • 结构化核插值（SKI）——在每个块内部构建克罗内克结构网格，以实现快速矩阵‑向量乘。
   • 局部 GP（专家混合）——把每个块视为一个专家，然后通过简单的加权方案合并预测。
4. 重新组合预测——对重叠块的预测进行融合（例如使用锥形加权函数），得到平滑的全局预测。

关键洞见在于，去相关化使得昂贵的 (O(N^3)) 协方差求逆不再必要；每个块的计算成本为 (O(m^3))，其中 (m \ll N)。

Results & Findings

*RMSE 相对于精确 GP 基准的相对变化。

• 精度：在所有实验中，块化近似与完整 GP 的误差仅在百分之几千分之一之内，证明去相关化并未牺牲预测能力。
• 可扩展性：该方法随块数线性增长，适用于流式或在线场景，数据可持续不断地加入。
• 鲁棒性：敏感性分析表明，即使对相关长度 (L) 的估计略有偏差，也只会对性能产生轻微影响，这归功于重叠块的设计。

Practical Implications

• 时间序列预测流水线——工程师现在可以在生产系统中嵌入 GP 模型（如需求预测、异常检测），而不再受制于立方时间瓶颈。
• 边缘与物联网设备——块级方法天然适合内存受限的设备；每个块可在本地处理，再统一聚合。
• 混合建模——该技术可与深度学习特征提取器（如用于传感器网格的 CNN）结合，GP 充当校准不确定性的层。
• 快速原型——由于方法直接接入现有 GP 库，数据科学家能够在保持速度的前提下实验复杂核函数（周期核、Matérn 核）。

Limitations & Future Work

• 块大小的选择依赖于对自相关视界的准确估计；高度非平稳的序列可能需要自适应块大小。
• 重叠处理会带来适度的计算开销，且若加权方案未调优，可能产生边缘伪影。
• 对多变量（时空）数据的扩展尚未涉及；作者建议将块化与低秩时空核相结合，作为后续工作方向。
• 去相关化误差的理论保证目前仅为经验性，若能给出形式化的误差界限，将更有助于在安全关键领域的应用。

总体而言，本文提供了一套务实的方案，使得高斯过程的表达能力能够在自相关数据的高速场景中得以发挥，为日常工程工作流中更可靠、具不确定性意识的模型打开了大门。

Authors

• Ahmadreza Chokhachian
• Matthias Katzfuss
• Yu Ding

Paper Information

• arXiv ID: 2512.02925v1
• Categories: cs.LG, stat.ML
• Published: December 2, 2025
• PDF: Download PDF