[Paper] Inductive Venn-Abers 及相关回归器

Source: arXiv - 2605.06646v1

概述

本文介绍了 Inductive Venn‑Abers 回归器，这是一类新的概率回归模型，将著名的 Venn‑Abers 预测器从二分类扩展到 无界回归 任务。通过将 Venn‑Abers 思想与 conformal prediction 相结合，作者得到的预测器在保持强有效性保证的同时，能够为连续目标提供校准的概率区间。实验表明，尤其在训练集规模较大时，这些回归器相较于传统的点估计回归器能够略微提升预测效率。

关键贡献

• 推广到无界回归 – 首次提出适用于任意实值目标的 Venn‑Abers 预测器，而不仅限于有界或二元结果。
• 归纳式 Venn‑Abers 框架 – 引入一种高效的两阶段训练流程（校准集 + 正式训练集），能够扩展到现代大规模数据。
• 与保守预测的混合 – 添加一种保守型非一致性度量，以处理响应变量的无界特性。
• 实证评估 – 在合成和真实数据集上，将新回归器与标准回归基线（如线性回归、随机森林、梯度提升）进行基准比较。
• 点预测分析 – 展示如何从区间输出中提取单一的“最佳估计”，并证明在数据足够时，这些点预测的准确度可略高于底层基回归模型。

方法论

1. Base learner – 任意确定性回归算法（例如，决策树、神经网络）首先在 proper training set 上进行训练。
2. Calibration set – 使用数据的单独留出切片来基于基学习器的残差计算 non‑conformity scores。
3. Venn‑Abers mapping – 对每个新的测试实例，算法评估两个假设标签（low 和 high），并使用校准分数计算相应的 p‑values。
4. Interval construction – 将两个 p‑values 转换为校准的概率区间 ([l, u]) 以表示真实目标值。由于目标是无界的，区间在一侧可能是无限的，但 conformal 组件确保覆盖概率与所选置信水平相匹配。
5. Point prediction extraction – 作者提出一个简单规则（例如区间的中点或加权平均）在需要时获得单一数值预测。

整个管道是 inductive 的：校准步骤只执行一次，避免了经典 Venn 预测器中昂贵的留一法循环，使该方法在大规模数据集上具有实用性。

Results & Findings

• 覆盖率：构建的区间在所有测试集上实现了名义的 95 % 覆盖率，验证了有效性保证。
• 训练时间：加入校准步骤后，总运行时间比仅训练基学习器增加约 10 %，作者认为在提升可靠性的情况下这是可以接受的。
• 数据规模的影响：在非常小的训练集（< 500 样本）上收益几乎可以忽略不计，但随着训练集规模扩大，收益稳步提升，这与 Venn‑Abers 需要更多校准数据的理论预期相符。

总体而言，研究表明 Inductive Venn‑Abers 回归器 能够以极小的额外开销提供良好校准的“不确定性估计”，并且在数据充足时还能适度提升点预测精度。

Practical Implications

• Risk‑aware ML services – Deployments that need reliable confidence intervals (e.g., demand forecasting, financial risk modeling) can wrap any existing regressor with the Venn‑Abers wrapper to obtain calibrated prediction intervals without redesigning the model.
• Model monitoring – The validity guarantee offers a built‑in sanity check—if interval coverage drifts below the target confidence level, it signals data drift or model degradation.
• Regulatory compliance – Industries such as healthcare or finance often require quantifiable uncertainty; Venn‑Abers intervals satisfy many of these audit requirements.
• Easy integration – Because the method is inductive and works with any deterministic learner, it can be added as a post‑processing step in typical ML pipelines (e.g., scikit‑learn pipelines, TensorFlow/Keras custom callbacks).
• Resource‑constrained environments – The modest 10 % runtime overhead makes it feasible for batch inference or even near‑real‑time scoring where full Bayesian posterior sampling would be too heavy.

限制与未来工作

• 对小数据集的改进有限 – 当校准集规模很小的时候，方法的优势会减弱；开发者必须确保有足够的留出样本量。
• 假设基学习器是确定性的 – 对于随机模型（例如基于 dropout 的神经网络），需要在校准前将其冻结，这可能会使流水线变得更复杂。
• 无限区间 – 对于极端离群值，保序成分可能产生无界区间，需要在下游进行处理（例如裁剪）。
• 未来方向 – 作者建议探索自适应校准集大小、将框架扩展到多输出回归，以及与已经输出不确定性的深度学习架构（如贝叶斯神经网络）进行集成。

结论：归纳 Venn‑Abers 回归器为开发者提供了一种即插即用的方式，将任何回归模型转化为 有效、校准的预测器，在较大数据集上还能带来适度的性能提升——这使其成为风险敏感 AI 应用工具箱中极具吸引力的补充。

作者

• Ivan Petej
• Vladimir Vovk

论文信息

• arXiv ID: 2605.06646v1
• 分类: cs.LG
• 出版日期: 2026年5月7日
• PDF: 下载 PDF