为什么一篇12年的预测论文经受住了时间的考验

Source: Amazon Science

评估预测

在使用机器学习模型——尤其是监督学习场景下——进行验证时非常直接：可以衡量模型对已知标签的预测效果。
然而，预测往往涉及对未来事件发出警告，这就提出了一个问题：我们如何评估一个给出未来警告的算法？

一种天真的做法可能会对每条警告单独打分（例如，“党 A 的投票份额将上升”）。但现实中的结果很少如此干净；有些预测的党派确实会激增，而其他的则不会。

将警告序列与事件序列匹配

一个经久不衰的关键洞见是将整个时间序列的警告与实际事件序列进行评估，而不是把每条警告孤立来看。可以将其形式化为二分图匹配问题：

• 构建一个二分图，一侧是警告集合 ((w_1, w_2, \dots, w_n))，另一侧是观测到的事件集合 ((e_1, e_2, \dots, e_n))。
• 为每一对可能的警告‑事件配对分配一个权重，反映该警告对事件的解释程度。
• 找到一个最大权重匹配，使得配对后的总权重最大化。

为了遵守时间顺序，匹配应当是非交叉的（即如果警告 (w_i) 在警告 (w_j) 之前，那么其匹配的事件也应在匹配给 (w_j) 的事件之前）。这样即可得到对事件归因于警告的连贯解释。

图（改编自 “Beating the news” with EMBERS: Forecasting civil unrest using open‑source indicators）
三种匹配警告 ((w_1!-!w_7)) 与事件 ((e_1!-!e_7)) 的方法：

1. 加权匹配
2. 最大权重二分图匹配
3. 非交叉的最大权重二分图匹配

发出多重警报与融合

另一个持久的贡献是从互补算法中发出多重警报，每个算法都有不同的优势。单纯地向用户淹没大量警报会适得其反，因此需要一种融合方法论。

融合方法采用简单的贝叶斯推理：

1. 先验信念：关于每个算法可靠性的先验以及误报的成本。
2. 似然：在给定每个算法预测的情况下观察到的数据的可能性。
3. 后验更新：通过贝叶斯公式随时间调整对每个算法的置信度。

通过持续更新这些信念，系统能够以原则性的方式组合警报，既降低噪声，又保留由多样化模型提供的互补信息。