[Paper] Fusion-SSAT：通过特征融合释放自监督辅助任务的潜力，以实现通用深度伪造检测

Source: arXiv - 2601.00789v1

概述

深度伪造检测模型在面对与其训练数据不同的视频时，往往会失效。Fusion‑SSAT 的作者提出了一种巧妙的方法，通过将检测器与自监督辅助任务配对，然后 融合 学习到的特征图，以提升检测器的鲁棒性。其结果是一个在未见过的深度伪造数据集上泛化能力显著提升的模型，超越了当前最先进的检测器。

关键贡献

• 自监督辅助任务集成 – 证明精心选择的辅助任务可以作为深度伪造检测的正则化器。
• 特征融合架构 (Fusion‑SSAT) – 引入一个轻量级模块，将主检测头和自监督头的表征进行拼接并联合处理。
• 广泛的跨数据集评估 – 在七个公开的深度伪造基准上验证该方法（DF‑40、FaceForensics++、Celeb‑DF、DFD、FaceShifter、UADFV，以及内部数据集）。
• 最先进的泛化能力 – 在跨数据集设置中显示出相较于最佳已发布检测器的一致提升，同时不牺牲数据集内的准确率。
• 训练计划的消融研究 – 分析了多种多任务训练方案（顺序、同步、交替），并确定了该问题最有效的方案。

方法论

1. 主要任务 – 一个传统的二分类器，用于从面部视频帧中预测“真实”或“伪造”。
2. 辅助自监督任务 – 作者使用 拼图 重建任务：模型接收被打乱的面部块并必须预测正确的空间顺序。这迫使网络学习细粒度的空间线索，这些线索同样对发现操纵伪造有用。
3. 双分支骨干网络 – 两个任务共享一个通用 CNN 编码器（例如 ResNet‑50）。在编码器之后，网络分成两个头部：一个用于检测损失，另一个用于自监督损失。
4. 特征融合 – 在最终分类层之前，将两个头部的特征图拼接，并通过一个小的融合块（1×1 卷积 + 批归一化）进行处理。该混合表示捕获了两个目标的互补信息。
5. 训练调度 – 最有效的调度方式是在两个任务之间交替 mini‑batch（即一个 batch 更新检测损失，下一个 batch 更新自监督损失）。这使得两个目标保持“同步”，同时避免梯度干扰。

整个流水线保持端到端可训练，并且相较于普通检测器仅增加约 10 % 的额外参数。

结果与发现

• 跨数据集提升：当模型在从未见过的训练数据集上进行测试时（例如，在 FaceForensics++ + Celeb‑DF 上训练，在 DF‑40 上测试），收益最大。
• 消融实验：去除融合块会使跨数据集准确率下降约 4 %，确认混合表示是关键驱动因素。
• 训练调度影响：交替小批次的方式在泛化方面比同时的多任务损失加权提升约 2 %。

总体而言，Fusion‑SSAT 在对未见深度伪造生成方法的鲁棒性上实现了约 7 % 的绝对提升。

实际意义

• 即插即用升级：现有的深度伪造检测器可以通过加入 Fusion‑SSAT 模块（只需添加自监督头和融合块）进行改装，无需重新设计整个流水线。
• 降低真实环境下的误报率：更好的跨数据集性能意味着在服务处理来自多源的用户生成内容时，误标合法视频的情况会减少。
• 边缘友好部署：额外的计算开销较小（约增加 10 % FLOPs），使得在 GPU 或甚至高端移动 SoC 上进行实时审核成为可能。
• 可迁移至其他媒体鉴别任务：相同的融合策略可用于音频深度伪造检测、图像篡改检测，或任何自监督空间线索有价值的二元真实性任务。

对于构建内容审核流水线的开发者而言，Fusion‑SSAT 提供了一套切实可行的方案，使模型能够面向深度伪造合成技术的快速演进进行前瞻性防护。

限制与未来工作

• 自监督任务选择：该研究仅探讨拼图任务；其他 SSL 目标（例如，对比学习、掩码自编码）可能产生更丰富的特征。
• 超出视觉伪影的域迁移：该方法侧重于视觉线索；未处理音视频不一致或元数据篡改，这些在高级深度伪造中日益常见。
• 对超大视频流的可扩展性：尽管每帧开销低，但大规模处理高分辨率视频仍可能需要模型剪枝或蒸馏。
• 可解释性：融合表示提升了性能，但仍是黑箱；未来工作可加入注意力图，帮助审核员了解为何标记某片段。

作者建议探索多模态辅助任务以及用于训练计划的自动化课程学习，作为有前景的后续步骤。

作者

• Shukesh Reddy
• Srijan Das
• Abhijit Das

论文信息

• arXiv ID: 2601.00789v1
• 分类: cs.CV
• 发表时间: 2026年1月2日
• PDF: 下载 PDF