[Paper] UniGenDet：统一的生成‑判别框架用于协同进化图像生成与生成图像检测

Source: arXiv - 2604.21904v1

概述

论文 UniGenDet 提出了一种统一的架构，能够同时训练图像生成模型和用于检测 AI 生成图像的检测器。通过让两个组件通过一种新颖的多模态自注意力模块共享信息，作者展示了每个任务都可以相互促进：生成器能够生成更逼真的图片，而检测器在识别伪造图像方面也变得更强。这种协同进化的方法弥合了生成（如 GAN、扩散）与判别（如取证）流水线之间长期存在的鸿沟，在多个基准数据集上实现了最先进的结果。

关键贡献

• 统一生成‑判别框架 – 一个单一网络同时学习图像合成和生成图像检测，消除对单独、手工构建流水线的需求。
• 共生多模态自注意力 (MMSA) – 一个跨模态注意力块，使生成器和检测器实时交换特征图，提升逼真度和检测准确性。
• 统一微调算法 – 一个训练调度，在生成损失和检测损失之间交替，同时保持共享骨干网络，确保稳定的协同训练。
• 检测器感知生成对齐 (DIGA) – 一个损失项，当生成器的输出容易被判为伪造时进行惩罚，促使其遵循检测器学习的真实性标准。
• 全面的实证验证 – 在 FFHQ、LSUN‑Bedroom 和合成深度伪造数据集上的实验显示，相较于最佳的 GAN、扩散模型和取证检测器，均有一致提升。

方法论

1. Shared Backbone – 生成器 G 和检测器 D 都从同一个 transformer‑style 编码器开始，该编码器分别处理潜在代码（用于 G）和图像（用于 D）。
2. Multimodal Self‑Attention (MMSA) – 在多个层次上，模型插入一个注意力层，该层接受来自 G 的查询以及来自 D 的键/值（反之亦然）。这使得生成器能够“看到”检测器认为可疑的地方，同时让检测器能够结合生成过程的线索。
3. Training Loop
   • Generation Phase：采样潜在向量 z，生成图像 (\hat{x} = G(z))。计算常规的对抗损失（例如 GAN 或 diffusion 目标）加上 来自 D 当前预测的 detectability penalty（即 DIGA 项）。
   • Detection Phase：将真实图像和生成图像混合成一个批次送入 D，计算二元交叉熵损失，并通过共享的骨干网络和 MMSA 模块进行反向传播。
   • Fine‑Tuning：每隔若干步交替进行上述两个阶段，使用小的学习率调度以保持共享参数的稳定。
4. Loss Functions

L_gen = adversarial loss + λ_dig * L_DIGA
L_det = BCE(real/fake) + λ_att * L_MMSA   # regularization encouraging consistent attention maps

整个系统可以使用流行的深度学习库（如 PyTorch、HuggingFace Transformers）实现，并可在单个 GPU 上运行以处理中等规模的数据集。

结果与发现

关键要点

• 生成器在视觉保真度（更低的 FID）方面始终优于强基线。
• 检测器在合成和真实世界的深度伪造基准上几乎达到完美的 AUC，即使生成器被有意调校以规避检测。
• 消融实验表明，去除 MMSA 或 DIGA 会同时削弱两者的表现，凸显了协同训练设计的相互收益。

实际意义

• 安全内容管道 – 需要同时合成逼真资产（例如游戏艺术、虚拟试穿）并防御恶意深度伪造的平台，可以采用单一的 UniGenDet 模型，从而降低工程开销。
• 快速原型开发 – 开发者可以在自己的领域数据（例如医学影像、时尚）上微调共享的主干网络，立即获得一个针对真实感调校的生成器 以及 一个针对该特定风格校准的检测器。
• 合规监管 – 需要对 AI 生成媒体进行水印或检测的公司可以将检测组件直接嵌入其生产系统，确保所有生成的输出在发布前通过内部真实性检查。
• 研究加速 – 通过在早期让生成器接受检测反馈，研究人员可以更快地迭代新合成技术，而无需等待单独的取证评估。

Limitations & Future Work

• Scalability – 在超高分辨率图像（>1024×1024）上训练统一模型仍然需要多 GPU 设置；当前实现针对 256–512 px 进行优化。
• Domain Transfer – 虽然共享的骨干网络在多个数据集上具有通用性，但极端的领域转移（例如卫星影像）可能需要额外的特定模态适配器。
• Adversarial Arms Race – 共进化设置假设合作训练模式；在实际环境中，攻击者可能会有意构造利用检测器学习偏差的输入。未来工作可以探索鲁棒的对抗训练和持续学习，以使检测器领先于新颖的生成技巧。

作者已在 GitHub 上发布了代码，开发者可以轻松在自己的项目中尝试 UniGenDet。

作者

• Yanran Zhang
• Wenzhao Zheng
• Yifei Li
• Bingyao Yu
• Yu Zheng
• Lei Chen
• Jiwen Lu
• Jie Zhou

论文信息

• arXiv ID: 2604.21904v1
• 类别: cs.CV
• 发表时间: 2026年4月23日
• PDF: 下载 PDF