[Paper] 高效的公开验证私有机器学习 via 正则化

Source: arXiv - 2512.04008v1

概览

本文解决了差分隐私（DP）机器学习中的一个实际缺口：虽然 DP 训练可以保护单个数据点，但目前没有廉价的方法让数据所有者或公众验证已发布模型是否真的满足其声称的 DP 保证。作者提出了首个 DP‑随机凸优化（DP‑SCO）算法，其隐私保证可以以远低于模型训练所需的计算量进行检查，同时仍实现接近最优的隐私‑效用权衡。

关键贡献

• 验证高效的 DP 算法：引入一种 DP‑SCO 方法，其 DP 保证可以在训练成本的一小部分时间内进行审计。
• 紧致的隐私‑效用权衡：通过私有化最小化一系列正则化目标，匹配已知的 DP‑SCO 最优界限。
• 标准 DP 组合：仅依赖经典的 DP 组合定理，避免了妨碍验证的复杂会计技巧。
• 可扩展的验证：展示验证时间相对于训练时间呈亚线性增长，使得在大规模数据集上进行公开审计成为可能。
• 理论保证：提供严格的证明，表明验证过程产生的隐私参数与训练算法完全一致。

方法论

1. 正则化目标序列

   • 作者将原始凸损失重新表述为一系列正则化损失（加入精心选择的惩罚项）。
   • 每个正则化问题使用标准的 DP 优化器（例如 DP‑SGD）在每一步分配适度的隐私预算来求解。

2. 基于标准组合的隐私会计

   • 他们不使用复杂的隐私会计器，而是对正则化问题序列直接应用基本的 DP 组合界。
   • 这产生了一个干净的、可加的隐私损失，易于计算和验证。

3. 验证过程

   • 训练完成后，验证者只需使用公开的随机种子重新运行正则化优化（或检查公开的噪声统计信息）。
   • 由于每个子问题规模更小且组合是可加的，总体验证成本相比从头重新训练完整模型要低得多。

4. 理论分析

   • 论文证明正则化不会使效用下降超过 DP‑SCO 的下界。
   • 同时表明验证算法能够恢复训练期间使用的精确隐私参数。

结果与发现

在标准凸任务（逻辑回归、SVM）上的实验表明，效用基本保持不变，而在拥有数百万样本的数据集上，验证时间下降了一个数量级。

实际意义

• 公开审计：监管机构、数据提供方或用户现在可以独立验证DP 声明，而无需原始训练基础设施。
• 合规流水线：企业可以将廉价的验证步骤嵌入 CI/CD 流程，确保每个发布的模型在部署前通过 DP 审计。
• 成本节约：对于大规模训练（如推荐系统），验证可以在普通云实例上运行，降低运营支出。
• 数据共享平台的信任：托管第三方模型的平台（如 Model Zoo）可以展示可验证的 DP 证书，提升用户信心。
• 工具简化：由于方法使用标准 DP 组合，现有的 DP 库（TensorFlow Privacy、Opacus）可以通过轻量级验证模块进行扩展。

局限性与未来工作

• 仅限凸问题：该技术已在随机凸优化上得到证明；将其扩展到深度非凸模型仍是未解挑战。
• 正则化开销：虽然验证成本低，但训练循环现在需要求解多个正则化子问题，可能会在实际时钟时间上带来适度开销。
• 诚实随机性披露的假设：验证依赖于获取随机种子或噪声参数；恶意提供者可能会隐瞒这些信息。
• 作者提出的未来方向包括：将基于正则化的验证适配到神经网络的 DP‑SGD、探索在保持验证效率的前提下更紧的组合方法，以及构建可无缝集成到现有机器学习流水线的开源工具。

作者

• Zoë Ruha Bell
• Anvith Thudi
• Olive Franzese-McLaughlin
• Nicolas Papernot
• Shafi Goldwasser

论文信息

• arXiv ID: 2512.04008v1
• 分类: cs.LG, cs.CR
• 发布日期: 2025 年 12 月 3 日
• PDF: Download PDF