[Paper] 聚合多样线索专家用于AI生成图像检测

Source: arXiv - 2601.08790v1

Overview

本文提出了 多线索聚合网络 (MCAN)，一种检测框架，融合了多种互补信号——空间内容、高频边缘细节以及一种新颖的色彩不一致线索，以识别 AI 生成的图像。通过将这些线索视为“专家”，并让混合编码器动态加权，MCAN 在跨模型泛化方面显著优于依赖单一特征类型的先前检测器。

关键贡献

• 统一的多线索架构，在单一网络中共同处理空间、频域和色度信息。
• 混合编码器适配器，能够在运行时学习选择并组合线索特定的表征，提高对未见生成器的鲁棒性。
• 色度不一致（CI）线索，对强度进行归一化，隔离真实照片与合成输出之间的采集噪声模式差异。
• 领先的性能，在三个主要基准（GenImage、Chameleon、UniversalFakeDetect）上实现最先进的结果，在 GenImage 上相较于前一最佳方法提升了 7.4 % 的绝对准确率。
• 大量消融实验，展示了每个线索以及自适应编码器混合的单独和综合影响。

方法论

1. Cue Extraction

   • Image cue：原始 RGB 图像，保留整体场景语义。
   • High‑frequency cue：通过拉普拉斯滤波（或小波变换）获得，以突出合成模型常常处理不佳的边缘和细纹理。
   • Chromatic Inconsistency cue：先对图像进行强度归一化；随后提取残余的色彩变化（色通道噪声），以暴露生成流水线留下的细微伪影。

2. Mixture‑of‑Encoders Adapter

   • 每个线索分别输入各自的轻量级编码器（例如 ResNet‑18 块）。
   • 门控网络根据输入预测一组混合权重，实质上决定每个编码器的输出在给定图像中应贡献多少。
   • 加权后的编码器输出被拼接，并通过共享的分类头输出真实‑与‑合成的概率。

3. Training & Loss

   • 使用带标签平滑的标准二元交叉熵损失。
   • 辅助对比损失鼓励网络保持线索特定嵌入在真实和伪造样本之间的判别性。

4. Implementation Details

   • 在真实照片与来自八种流行生成器（Stable Diffusion、DALL·E、Midjourney 等）的 AI 生成图像的平衡混合数据上进行训练。
   • 数据增强包括随机裁剪、JPEG 压缩和颜色抖动，以模拟真实世界的分布漂移。

结果与发现

• 跨生成器鲁棒性：即使在训练时未见过的生成器上，MCAN 仍保持 >90 % 的准确率，验证了线索多样性的优势。
• 消融实验：去除 CI 线索会使准确率下降约 2.5 %；去除混合编码器（改用简单拼接）会使性能下降约 3 %，凸显两者的重要性。
• 效率：完整模型在单个 RTX 3080 上处理 512×512 图像的耗时约为 45 ms，适用于实时审核流水线。

实际影响

• 内容审核平台 可以集成 MCAN，以更高的置信度标记合成媒体，减少单线索检测器常见的误报。
• 数字取证工具 获得更可靠的“专家系统”，能够跨新兴生成模型工作，无需频繁重新训练。
• 社交媒体 API 可以提供轻量级的 MCAN 接口，供开发者预筛选用户上传内容，帮助抵制错误信息和深度伪造诈骗。
• 企业安全：MCAN 的快速推理支持在设备端或边缘部署（例如在浏览器或移动应用中），在图像到达服务器之前检测 AI 生成的图像，节省带宽并保护隐私。

限制与未来工作

• 线索选择偏差：当前的线索是手工设计的；未来工作可以探索可学习的线索发现（例如，通过对光谱带的注意力机制）。
• 领域迁移：虽然 MCAN 在不同生成器之间具有良好的泛化能力，但在极端后处理（强烈风格化、激进压缩）下仍会导致性能下降。
• 向视频的可扩展性：将多线索范式扩展到时序数据（帧级和运动线索）是一个待解决的方向。
• 可解释性：混合权重提供了一定的可解释性，但深入分析为何特定线索在特定图像上占主导地位将有助于提升可信度。

结论：MCAN 表明，聚合多样且互补的“专家”线索——空间、频率和色彩——能够提供一种实用且高性能的 AI 生成图像检测方案，已准备好集成到当今的内容安全体系中。

作者

• Lei Tan
• Shuwei Li
• Mohan Kankanhalli
• Robby T. Tan

论文信息

• arXiv ID: 2601.08790v1
• Categories: cs.CV
• Published: 2026年1月13日
• PDF: 下载 PDF