[Paper] 多臂顺序假设检验 via Betting

Source: arXiv - 2603.17925v1

概览

论文 “Multi‑Armed Sequential Hypothesis Testing by Betting” 解决了一个在 A/B 测试、临床试验和在线实验中常见的实际问题：你拥有多个数据流（或称为“臂”），需要在实时进行抽样的同时判断 any（任意一个）是否偏离全局零假设。通过将问题建模为赌局，作者推导出可证明最优的检验方法——其表现相当于你事先已知哪个臂会提供最强证据。

关键贡献

• 多臂投注框架： 将经典的顺序检验通过投注扩展到多个可选臂的设置。
• Oracle 级别的最优性： 引入“对数最优性”和“期望拒绝时间最优性”的正式概念，保证性能匹配事先知道最佳臂的 oracle。
• 匹配的下界和上界： 证明所提出的检验在任意臂数下实现了类型 I 错误控制与检测速度之间的最佳权衡。
• UCB 风格的臂选择算法： 设计了一种改进的上置信界（UCB）算法，即使奖励（证据）不可直接观测但可可靠估计时也能工作。
• Kelly 财富的非渐近浓缩： 推导了在最优（Kelly）策略下投注财富增长率的新浓缩不等式，这在假设检验之外也可能有用。

方法论

1. 基于投注的 e‑process: 作者将对原假设的证据视为投注游戏中的资本。在每一轮中，他们对下一个观测值下注；累计的资本形成一个 e‑process，在原假设下永不超过预先指定的显著性水平。
2. 通过估计奖励进行臂选择: 由于真实的“奖励”（即某个臂会增加投注财富的程度）是隐藏的，他们构造无偏估计量并将其输入 UCB‑type 规则。该规则在探索（尝试采样较少的臂）和利用（聚焦于似乎产生大量证据的臂）之间取得平衡。
3. 最优财富增长（Kelly准则）: 对于每个臂，投注比例被选择为最大化财富的期望对数增长，类似于 Kelly 的最优赌博策略。
4. 理论分析: 通过将 UCB 选择与 Kelly 投注比例耦合，他们证明得到的 e‑process 的增长速率与一个始终挑选最佳臂的 oracle 相同。这既给出了下界（没有检验能超过此速率）也给出了匹配的上界（他们的算法达到了该速率）。

Results & Findings

• 最佳拒绝时间： 拒绝全局原假设所需的期望样本数在常数因子范围内与 oracle 基准相当，无论存在多少臂。
• 对多个非零臂的鲁棒性： 即使有多个臂实际上是非零的，检验也会自动集中在信息量最大的臂上，无需事先了解。
• 实证验证： 对合成的 Bernoulli 和 Gaussian 臂进行的模拟实验表明，所提出的方法能够达到理论上的拒绝时间界限，并且优于朴素策略（例如均匀抽样或固定分配设计）。
• 浓缩保证： 新的非渐近界限表明，投注财富不会显著偏离其预期的指数增长，从而提供了强有力的有限样本保证。

实际意义

• A/B/n 测试平台： 工程师可以嵌入该算法，持续将流量分配给最有前景的变体，同时保持严格的 I 类错误控制，缩短发现获胜版本的时间。
• 自适应临床试验： 研究人员可以同时测试多个剂量水平或治疗组，一旦任何剂量显示有效即可提前停止，而不会增加假阳性风险。
• 在线监控与异常检测： 监控众多指标（例如各服务的延迟）的系统可以将每个指标视为一个臂，并快速标记任何偏离正常行为的指标。
• 资源高效实验： 由于该方法会自动聚焦最强信号，能够节省数据收集成本，并在数据受限的环境中加快决策。

限制与未来工作

• 可估计奖励的假设： 理论保证依赖于能够构造每个臂的投注奖励的无偏、低方差估计器；在噪声极大或反馈延迟的环境中，这可能具有挑战性。
• 对极大臂集合的可扩展性： 虽然 UCB 风格的规则在计算上很轻量，但分析并未涉及当臂的数量增长到数千甚至更多（例如在推荐系统中）时可能出现的问题。
• 向非 i.i.d. 数据的扩展： 当前框架假设每个臂的观测是独立的；处理时间依赖或协变量漂移将扩大其适用范围。
• 在真实数据上的实证基准： 未来工作可以在大规模 A/B 测试日志或临床试验数据集上评估该方法，以展示相较于现有行业工具的实际收益。

结论： 通过将基于投注的顺序检验与巧妙的臂选择策略相结合，作者提供了一种在需要在多个数据流中“挑选赢家”且保持误报率受控的任何场景下，理论上最优、易于实现的工具。

作者

• Ricardo J. Sandoval
• Ian Waudby‑Smith
• Michael I. Jordan

论文信息

• arXiv ID: 2603.17925v1
• 分类: stat.ME, cs.LG, math.ST
• 发布时间: 2026年3月18日
• PDF: 下载 PDF