[Paper] 鲁棒Deepfake检测：通过校准的互补集成缓解空间注意力漂移

Source: arXiv - 2604.25889v1

概述

本文针对当前深度伪造检测器的一个关键弱点——在图像受到真实世界因素（如高强度压缩或模糊）降质时，检测器容易“失焦”于面部线索——提出了解决方案。作者将强大的视觉基础模型（DINOv2‑Giant）与精心设计的降质流水线以及多流集成相结合，构建了一个能够始终锁定正确区域并对未见攻击具备鲁棒泛化能力的检测器。该方案在 NTIRE 2026 Robust Deepfake Detection Challenge 中获得了第四名，证明了其在大规模应用中的有效性。

关键贡献

• Extreme degradation engine – 在训练过程中系统性地施加复合失真（模糊、JPEG 压缩伪影、下采样等），迫使模型学习能够在真实质量下降情况下仍然保留的特征。
• Structurally constrained multi‑stream architecture 包括：
  1. Global Texture stream – 捕获整幅图像的粗粒度、高层次纹理线索。
  2. Localized Facial stream – 专注于细粒度的面部区域，这些区域是操纵伪影最为明显的部位。
  3. Hybrid Semantic Fusion stream – 将视觉特征与 CLIP 的语言‑视觉嵌入相融合，以注入语义一致性。
• Calibration‑based ensemble voting – 将每个流的置信度离散化，并通过校准的投票机制进行聚合，有效地将注意力锚定在几何上稳定的区域。
• Comprehensive attribution analysis 使用 Score‑CAM 和余弦相似度稳定性度量，证明每个流贡献互补、非冗余的信息，并降低注意力漂移。
• Zero‑shot robustness – 模型能够在未见过的深度伪造生成方法和严重失真条件下直接泛化，无需任何微调，在 NTIRE 2026 排行榜上超越了之前的最先进基线。

方法论

1. 降解管线 – 在将图像输入网络之前，作者会对其施加随机顺序的强降解（例如，高斯模糊、激进的 JPEG 压缩、分辨率下采样、噪声）。这模拟了社交媒体平台上可能出现的“最坏情况”。
2. 骨干网络预训练 – 使用在大规模图像集合上以自监督方式训练的 DINOv2‑Giant 模型，对降解后的数据进行微调。由于 DINOv2 学习了强大的几何和语义先验，即使高频细节被破坏，它仍能对细微的面部结构变化保持敏感。
3. 三条并行流
   • 全局纹理：从 DINOv2 获取整幅图像的特征图，并通过一个浅层 CNN，强调宽泛的纹理模式。
   • 局部面部：使用人脸检测器裁剪出面部区域，然后用更深的 CNN 处理，以保留细粒度细节。
   • 混合语义融合：将 DINOv2 特征与 CLIP 文本嵌入（例如 “real face”、 “synthetic face”）拼接，并通过一个 transformer 风格的融合块。
4. 校准与投票 – 每条流输出一个 “假” 的概率。这些概率首先经过校准（温度缩放），使置信度与真实概率对齐，然后离散化为投票值（例如 0、1、2）。根据在留出验证集上测得的流可靠性加权的多数投票规则，产生最终决策。
5. 评估与归因 – Score‑CAM 可视化展示每条流的注意力位置。通过干净与降解版本特征向量的余弦相似度量化稳定性。注意力熵降低表明漂移更小。

结果与发现

• 多流集成在严重退化数据上相较于任何单一流提升 3–5 % 的绝对准确率。
• Score‑CAM 显示，全局纹理流保持对整个人脸轮廓的关注，而局部面部流则聚焦于眼角和嘴部区域——两者共同防止模型被背景伪影分散注意力。
• 校准投票机制降低了由背景中虚假纹理线索引起的误报，充当“几何锚点”。
• 在 NTIRE 2026 竞赛中，该方法在 57 份参赛作品中获得 第4名，验证了其竞争优势。

实际影响

• 稳健的内容审核 – 平台可以在已压缩、调整大小或加水印的用户生成视频/图像上部署检测器，而无需担心检测可靠性出现显著下降。
• 取证工具套件 – 模块化的流使分析人员能够检查是哪类线索（全局纹理 vs. 面部微伪迹）触发了伪造标记，从而在法律情境中提升可解释性。
• 边缘部署 – 由于三个流共享同一主干网络，整体模型大小保持在可管理范围（约 1.2 GB）。投票步骤轻量化，使其能够在现代 GPU 甚至高端移动 SoC 上运行。
• 可迁移框架 – 基于退化驱动的训练方案可以通过更换主干网络和流头部，适配其他媒体鉴别任务（例如 deepfake 音频、合成文本）。

限制与未来工作

• 对人脸检测的依赖 – 本地化面部流假设有可靠的人脸检测器；极端遮挡或极端姿态可能导致检测遗漏。
• 计算开销 – 运行三个并行流加上 CLIP 融合相比单流基线会增加推理延迟，这可能成为实时流媒体场景的瓶颈。
• 退化范围 – 虽然工程化管道覆盖了许多常见的腐败，但它并未显式建模针对检测模型的对抗攻击。
• 作者提出的未来方向 包括：
  1. 集成轻量级注意力漂移预测器，在推理时动态裁剪流。
  2. 将集成扩展至结合音视频线索用于视频深度伪造检测。
  3. 探索自监督领域适应，以进一步缩小合成与真实世界分布转移之间的差距。

作者

• Minh‑Khoa Le‑Phan
• Minh‑Hoang Le
• Trong‑Le Do
• Minh‑Triet Tran

论文信息

• arXiv ID: 2604.25889v1
• 类别: cs.CV
• 发表时间: 2026年4月28日
• PDF: 下载 PDF