[Paper] Reverso：高效时间序列基础模型用于零样本预测

Source: arXiv - 2602.17634v1

概述

论文 “Reverso: Efficient Time Series Foundation Models for Zero‑shot Forecasting” 表明，获取强大的零样本预测性能并不需要庞大的基于 transformer 的模型。通过将沉重的注意力层替换为轻量级的长程卷积与线性 RNN（DeltaNet）的混合，作者构建了基础模型，其规模 小 100 倍，同时在广泛的时间序列任务上保持竞争力——甚至表现更佳。

关键贡献

• 紧凑架构：引入一种混合模型，将长时卷积与 DeltaNet 线性 RNN 层交错使用，消除了对大规模 Transformer 的需求。
• 性能‑效率突破：展示了 < 1 M 参数 的模型在零样本预测基准上能够匹配或超越拥有 数亿参数 的 Transformer 模型的准确性。
• 以数据为中心的技巧：提出简单而有效的增强方法（例如随机缩放、抖动、遮盖）和推理技巧（例如测试时集成、滑动窗口投票），在不增加额外训练成本的情况下提升准确率。
• Reverso 系列：发布了一套预训练模型（Reverso‑S、Reverso‑M、Reverso‑L），覆盖不同的尺寸‑准确性权衡，全部公开可用。
• Pareto 前沿分析：提供了模型规模、FLOPs 与预测误差的系统比较，在时间序列基础模型的性能‑效率曲线上确立了新的最先进点。

方法论

1. 混合骨干 – 模型堆叠两个构建块：

   • 长卷积层（卷积核大小最高可达 512）通过基于 FFT 的卷积高效捕获远程时间模式。
   • DeltaNet 线性 RNN 层 线性传播信息，提供一种廉价的自注意力替代方案，同时保持序列顺序。
     交替的模式使网络能够在不产生二次方注意力成本的情况下学习全局趋势和细粒度动态。

2. 预训练方案 – 使用单一大型异构语料库，包含超过 10 k 条时间序列（金融、电力、交通、天气等）。目标是类似 BERT 的掩码重建损失：随机隐藏连续窗口并让模型预测它们，促使模型学习能够跨领域泛化的鲁棒表征。

3. 数据增强 – 在预训练期间，对每条序列进行随机变换（幅度缩放、时间扭曲、加性噪声和片段 dropout），迫使模型学习对零样本迁移至关重要的不变性。

4. 推理技巧 – 在测试时，作者使用：

   • 滑动窗口集成 – 对多个重叠的预测进行平均，降低方差。
   • 多尺度提示 – 将同一序列以不同下采样率输入，随后合并预测结果。

所有组件都刻意保持简洁，可使用标准深度学习库（PyTorch、TensorFlow）复现。

结果与发现

• 准确性：即使是最小的 Reverso‑S 也能在相对误差 2 % 以内匹配基线 Transformer，而 Reverso‑L 实际上 优于 基线约 3 %。
• 效率：在单个 CPU 核心上，推理延迟从数秒下降到 数十毫秒，实现了实时部署的可能。
• 零样本迁移：在未见过的领域（例如加密货币价格、太阳辐照度）进行评估时，Reverso 系列模型仍保持优势，证明其学习到的表示真正是领域无关的。

实际意义

• Edge & IoT 部署 – 子兆字节的占用意味着可以在微控制器、路由器或移动设备上运行强大的预测模型，而无需云调用。
• 成本效益 SaaS – 云服务提供商可以在每个 GPU 上处理成千上万的预测请求，从而大幅降低分析平台的计算费用。
• 快速原型 – 开发者可以将预训练的 Reverso 模型直接接入现有流水线（例如 Prophet、ARIMA 包装器），在无需任何任务特定微调的情况下获得强基线。
• 统一预测服务 – 拥有异构时间序列（销售、传感器日志、用户活动）的公司可以采用单一模型，而不必维护一套专门算法。

限制与未来工作

• 长时程退化 – 超过 200 步的预测开始失去保真度；作者建议结合层次解码或外部记忆。
• 可解释性受限 – 虽然该架构比 Transformer 更简洁，但线性 RNN 动力学仍然不透明；未来工作可以加入注意力式归因层。
• 领域特定微调 – 论文聚焦于零样本性能；探索轻量级微调（例如 LoRA 适配器）可能进一步提升在金融等高风险领域的准确性。
• 基准覆盖范围 – 实验涉及 12 个公开数据集；扩展到超高频数据（纳秒级 tick 数据）将检验卷积‑RNN 组合的极限。

总体而言，Reverso 展示了 效率不必以牺牲准确性为代价 的时间序列基础模型，为可扩展的真实场景预测解决方案打开了大门。

作者

• Xinghong Fu
• Yanhong Li
• Georgios Papaioannou
• Yoon Kim

论文信息

• arXiv ID: 2602.17634v1
• 分类: cs.LG, cs.AI
• 发布日期: 2026年2月19日
• PDF: 下载 PDF