[Paper] 提升 Ray Search Optimization 的收敛率，以实现查询高效的硬标签攻击

Source: arXiv - 2512.21241v1

概述

硬标签黑盒对抗攻击——攻击者只能看到最终的类别标签——以查询次数极大而闻名，这限制了它们在真实世界安全测试中的使用。本文提出了 ARS‑OPT 及其基于代理增强的变体 PARS‑OPT，这两种基于动量的算法显著加速了寻找最优“射线”方向（即产生最小 ℓ₂ 扭曲的扰动方向）的过程，同时保持模型查询次数低。

关键贡献

• Momentum‑based ray search (ARS‑OPT)： 将 Nesterov 加速梯度的思想应用于硬标签设置，估计指向未来射线方向的梯度，以实现更精确的更新。
• Theoretical convergence analysis： 在标准平滑性假设下证明更快且更稳定的收敛，提供许多黑盒攻击论文中缺失的形式化保证。
• Surrogate‑model prior integration (PARS‑OPT)： 利用轻量化、数据驱动的先验来偏置梯度估计，进一步降低查询次数。
• Comprehensive empirical validation： 在 ImageNet 和 CIFAR‑10 上超越 13 种近期硬标签攻击基线，实现相似 ℓ₂ 扭曲下中位查询次数降低 3×–5×。
• Open‑source implementation： 作者发布代码和预训练的代理模型，便于可复现性和后续研究。

方法论

1. 基于射线的表述:

   • 攻击搜索标量 λ 和方向 v（‖v‖₂ = 1），使得扰动后的图像 x + λv 越过决策边界。目标是最小化 λ（即扰动的 ℓ₂ 范数）。

2. 动量驱动的梯度估计:

   • 传统的射线搜索优化（RSO）在当前射线周围采样随机方向，并使用二分搜索近似边界，这会产生噪声梯度估计。
   • ARS‑OPT 保持一个动量向量 mₜ，累计过去的方向更新。在第 t 次迭代时，它预测一个未来射线 vₜ⁺ = vₜ + β·mₜ（β 为动量系数），并在 vₜ⁺ 周围采样扰动，而不是在 vₜ 周围。这种“前瞻”降低了方差，使更新更贴近真实的下降方向。

3. 代理模型先验（PARS‑OPT）:

   • 一个小且廉价的模型（例如在同一数据集上训练的浅层 CNN）提供对有前景方向的先验分布。
   • 先验与动量调整后的样本通过重要性加权结合，使梯度估计偏向于代理模型预测损失更高的区域。

4. 优化循环:

   • 对每一次查询预算的步骤：
     a. 在前瞻射线周围采样 k 个方向。
     b. 沿每个采样方向执行二分搜索以定位边界（仅需标签检查）。
     c. 根据边界距离估计梯度，应用动量更新，并调整射线方向。

5. 停止准则:

   • 当扰动的 ℓ₂ 范数低于目标阈值或查询预算耗尽时，算法停止。

结果与发现

• 查询效率： ARS‑OPT 和 PARS‑OPT 将中位查询次数降低约 70 %–80 %，相较于最强的已有方法。
• 稳定性： 各次运行的查询次数方差显著下降（标准差降低约 60 %），表明攻击性能更可预测。
• 失真质量： 在固定查询预算下，PARS‑OPT 实现的 ℓ₂ 失真始终低于基线，证明更快的收敛并未牺牲攻击强度。
• 消融实验： 移除动量或代理先验都会导致性能下降，验证了两者的互补作用。

实际影响

• 安全测试流水线： 渗透测试工具现在可以加入硬标签攻击，这类攻击在几千次查询内即可完成——远低于许多商业 API（例如云视觉服务）的速率限制阈值。
• 对抗鲁棒性评估： 研究人员可以在更真实的查询预算下更高效地对防御措施进行基准测试，从而获得更严格的安全保证。
• 模型加固： 基于动量的梯度估计可以重新用作 无梯度 敏感度指标，帮助开发者在无需完整白盒访问的情况下识别易受攻击的区域。
• 资源受限环境： 由于 PARS‑OPT 只需要一个轻量级的代理模型（通常只有几 MB），它可以在边缘设备上运行，以在不需要大量计算的情况下评估设备端模型的鲁棒性。

限制与未来工作

• 对平滑决策边界的假设： 收敛性证明依赖于局部 Lipschitz‑平滑的边界；高度非平滑的分类器仍可能导致行为不稳定。
• 对代理质量的依赖： 虽然代理模型计算成本低，但训练不佳的先验可能误导搜索，导致收敛速度变慢。
• 扩展到 ℓ∞ 或感知度量： 当前的公式聚焦于 ℓ₂ 扰动；将基于动量的射线搜索适配到其他范数或感知距离仍是一个未解决的问题。
• 防御性对策： 未来的工作可以探讨梯度遮蔽或随机平滑防御如何影响动量动态，以及自适应查询策略是否能够绕过这些防御。

底线： 通过将 Nesterov 风格的动量与数据驱动的先验相结合，ARS‑OPT 和 PARS‑OPT 为查询高效的硬标签攻击树立了新标准，使得黑盒对抗性测试对开发者和安全工程师更具实用性。

作者

• Xinjie Xu
• Shuyu Cheng
• Dongwei Xu
• Qi Xuan
• Chen Ma

论文信息

• arXiv ID: 2512.21241v1
• 类别: cs.LG, cs.AI, cs.CR, cs.CV
• 出版时间: 2025年12月24日
• PDF: 下载 PDF