[Paper] DAO‑GP 漂移感知在线非线性回归 高斯过程

Source: arXiv - 2512.08879v1

概览

本文提出了 DAO‑GP，一种具备漂移感知的在线高斯过程（GP）回归框架，能够在无需手动超参数调优的情况下自动适应数据分布的变化。通过嵌入漂移检测、稀疏更新以及原则性的衰减机制，DAO‑GP 在高度非平稳环境中仍能提供准确且具不确定性意识的预测——这使其成为实时 AI 系统的有力候选方案。

主要贡献

• 完全自适应、无超参数的在线 GP – 消除昂贵的手动调参或周期性再训练的需求。
• 内置漂移检测与适应 – 自动衡量漂移程度（突发、增量、渐进），并即时调整模型行为。
• 稀疏、衰减的表示 – 通过衰减策略维护紧凑的诱导点集合，剔除陈旧信息，从而保持低内存占用。
• 对数据窥探的鲁棒性 – 算法对每个观测仅处理一次，保留真正的在线学习保证。
• 全面的实证验证 – 在合成和真实流数据上的广泛基准测试表明，DAO‑GP 在多种漂移情景下的表现与或优于最先进的参数化（如在线线性模型）和非参数（如标准在线 GP、核递归最小二乘）基线。

方法论

DAO‑GP 在经典高斯过程回归的基础上加入了三层关键工程设计：

1. 漂移感知门控 – 轻量统计检验（如 Page‑Hinkley 或 ADWIN）监控预测残差。当检测到漂移时，模型切换到“高适应”模式，暂时放宽旧数据的影响。
2. 稀疏诱导点管理 – DAO‑GP 不存储每个观测，而是维护一个动态字典，保存具代表性的点。仅当新点能将后验方差提升超过阈值时才加入，从而限制字典规模。
3. 基于衰减的遗忘 – 每个诱导点携带一个随时间指数衰减的权重，除非被近期数据强化，否则会逐渐失效。这提供了一种无需显式窗口的原则性遗忘方式。

这三部分被统一嵌入标准 GP 预测方程，得到可在 O(m²) 时间内完成的闭式更新（其中 m 为当前诱导点数量，通常 << 总样本数）。无需基于梯度的超参数优化；模型通过漂移感知门控逻辑自行调节平滑度和噪声水平。

结果与发现

• 预测精度 – 在 12 个基准流（包括电力需求、传感器网络和金融 tick 数据）上，DAO‑GP 的平均绝对误差比最佳现有在线 GP 低 8‑15 %，在严重漂移情况下比在线线性基线低至 30 %。
• 不确定性校准 – 可靠性图显示，DAO‑GP 的预测区间保持适当覆盖率（95 % 区间约为 95 % 覆盖），即使在突发分布转移后，固定超参数的 GP 也会变得过于自信。
• 内存与延迟 – 诱导点集合在整个流中稳定在 50–150 点左右，使推断时间保持常数（在普通 CPU 上每样本 < 2 ms）且内存占用 < 1 MB。
• 适应动态 – 漂移检测信号的可视化与已知的变更点高度吻合，证实 DAO‑GP 能在少数样本内快速响应突发和渐进漂移。

实际意义

• 边缘与物联网分析 – 内存受限的设备可运行 DAO‑GP 持续建模传感器读数（如温度、振动），并自动处理传感器漂移或环境变化。
• 金融与交易系统 – 实时价格预测模型可保持校准，无需人工再训练，从而在市场制度切换期间降低延迟和运营风险。
• A/B 测试与个性化 – 在线推荐引擎可适应用户行为的演变，保持准确的置信估计，这对探索‑利用策略至关重要。
• DevOps 监控 – DAO‑GP 可作为即插即用的时间序列异常检测器，自动适应工作负载峰值或配置变更，无需持续调参。

局限性与未来工作

• 对超高维输入的可扩展性 – 虽然稀疏诱导点方案降低了内存需求，但在极高维度下核计算仍受限；引入随机特征近似可能有所帮助。
• 漂移检测器的灵敏度 – 当前统计检验在高度噪声流中可能产生误报；探索自适应阈值或集成漂移检测器是有前景的方向。
• 基准多样性 – 大多数实验聚焦于单变量或低维回归；将验证扩展到多输出或时空任务将加强通用性的主张。
• 理论保证 – 在漂移条件下的正式 regret 上界仍是未解问题；未来工作可致力于提供可证明的性能界限。

作者

• Mohammad Abu‑Shaira
• Ajita Rattani
• Weishi Shi

论文信息

• arXiv ID: 2512.08879v1
• 分类: cs.LG, cs.AI
• 发布日期: 2025 年 12 月 9 日
• PDF: Download PDF