[Paper] 深度伪造检测器的通用设计选择

Source: arXiv - 2511.21507v1

概览

深度伪造检测研究常常被各种“秘方”技巧所纠缠——数据如何预处理、使用哪些增强、选择哪种优化器——这使得很难判断模型的成功是来源于其架构还是这些外围选择。本文系统性地理清了这些因素，展示了少数精心挑选的设计决策即可在任何主干网络上提升检测准确率，并在 AI‑GenBench 基准上创下新的最新水平。

关键贡献

• 全面因素分析 – 分离训练、推理和增量更新选择对检测性能的影响。
• 与架构无关的最佳实践清单 – 确定一小套预处理、增强和优化技巧，能够在不同的 CNN/Transformer 上始终提升效果。
• 基准级提升 – 应用推荐设置后，多个基线检测器在 AI‑GenBench（一个大规模、多样化的深度伪造基准）上达到顶尖表现。
• 开源可复现工具包 – 提供脚本、配置文件以及模块化评估框架，方便其他团队复现和扩展本研究。

方法论

1. 基线模型 – 作者从多种流行的深度伪造检测器（如 Xception、EfficientNet、基于 ViT 的模型）出发，在相同的原始数据集上进行训练。
2. 因素网格 – 定义覆盖以下设计选择的矩阵：
   • 数据预处理：人脸对齐精度、颜色空间（RGB vs. YUV）、分辨率缩放。
   • 增强：随机裁剪、时间抖动、频域扰动、mixup/cutmix。
   • 优化：学习率调度（余弦 vs. 阶梯）、权重衰减、批大小、混合精度训练。
   • 推理技巧：测试时增强（TTA）、集成、置信度校准。
   • 增量更新：在不产生灾难性遗忘的情况下，对新出现的深度伪造生成方法进行微调。
3. 受控实验 – 在保持其他因素不变的情况下切换单一因素，从而实现对性能变化的清晰归因。
4. 评估 – 在 AI‑GenBench 的留出划分上测试模型，测量准确率、AUC 以及跨数据集泛化能力（例如在 FaceForensics++ 上训练、在 DeepFakeDetection 上测试）。

结果与发现

当完整的“最佳实践”组合被应用时，基线 Xception 的 AUC 从 86.3% 提升至 92.7%，而 ViT‑B/16 模型则达到 94.1%，超出之前 AI‑GenBench 领跑者约 2.5 分。

实际意义

• 快速原型 – 开发者只需将推荐的预处理和增强流水线接入任意现成检测器，即可立刻获得提升，无需重新设计网络。
• 稳健的生产服务 – 增量学习方案支持在新深度伪造生成器出现时持续更新，降低全量重新训练的需求。
• 成本效益的扩展 – 许多技巧（如 YUV 转换、余弦学习率）计算开销低，适用于边缘部署的检测器或对延迟要求严格的云服务。
• 标准化基准 – 采用作者的开源评估框架，团队可以在 AI‑GenBench 上公平比较自己的模型，促进该领域更透明的进展。

局限性与未来工作

• 本研究聚焦于仅视觉的检测器；音视频或多模态深度伪造系统对相同技巧的响应可能不同。
• 实验仅限于 AI‑GenBench 数据集；虽然其多样，但真实世界平台（如社交媒体流）仍存在未完全捕获的分布漂移。
• 增量学习方法使用了简单的重放缓冲区；更复杂的持续学习策略（如参数隔离）可能进一步降低遗忘。

作者计划将因素分析扩展到多模态流水线，探索面向流式数据的领域适应技术，并开源一个“设计选择优化器”，能够自动为给定的主干网络和硬件预算推荐最优配置。

作者

• Lorenzo Pellegrini
• Serafino Pandolfini
• Davide Maltoni
• Matteo Ferrara
• Marco Prati
• Marco Ramilli

论文信息

• arXiv ID: 2511.21507v1
• 分类: cs.CV
• 发布日期: 2025 年 11 月 26 日
• PDF: Download PDF