[Paper] 何时两个评分优于一个？探索 Diffusion Models 的集成

Source: arXiv - 2601.11444v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文。

Overview

扩散模型已成为生成高保真图像的首选方法，但大多数研究仍专注于构建越来越大的单一模型。本文提出了一个简单而实际的问题：我们是否可以像对监督分类器一样，通过 ensembling（组合）多个扩散模型来获得更好的结果？作者系统性地评估了几种集成策略，并发现传统统计指标与感知图像质量之间存在令人惊讶的不匹配。

关键贡献

• 对基于分数的扩散模型集成在 CIFAR‑10 和 FFHQ 上的全面实证研究，涵盖 Deep Ensembles、Monte‑Carlo Dropout，以及多种聚合规则。
• 度量分歧分析，显示集成在分数匹配损失和似然上始终提升，但往往 未 提升感知指标，如 FID。
• 跨领域验证，使用表格数据（随机森林），其中一种聚合规则始终优于其他，突出该现象并非仅限于图像。
• 理论洞见，阐明分数如何相加，将集成行为与其他组合技巧（如 classifier‑free guidance）联系起来。
• 实用指南，为开发者提供何时（以及何时不）在扩散模型上进行集成的建议。

方法论

1. Base models – 作者在标准图像基准上训练了多个独立的扩散模型（相同的架构，不同的随机种子）。
2. Ensemble constructions
   • Deep Ensembles：对每个模型的预测分数取平均。
   • Monte‑Carlo Dropout：在推理时启用 dropout，并对多次随机前向传播的结果取平均。
   • Alternative aggregations：加权求和、中位数以及其他稳健统计量。
3. Evaluation metrics
   • Statistical：score‑matching loss（训练目标）和精确的对数似然估计。
   • Perceptual：Fréchet Inception Distance (FID)、Inception Score (IS) 和视觉检查。
4. Tabular extension – 使用相同的聚合规则对随机森林回归器进行集成，以验证该模式是否在图像之外也成立。
5. Theoretical analysis – 论文推导了在扩散 SDE 下分数场的求和行为，阐明了为何似然会提升而样本质量可能没有提升的原因。

所有步骤都描述得足够详细，使实践者能够使用流行的库（例如 PyTorch、Diffusers）复现实验。

Results & Findings

• 统计提升：集成方法始终降低训练损失并提升估计的似然性，验证了经典的“方差降低”效应。
• 感知停滞：在图像生成任务上，同样的集成要么使 FID 保持不变，要么略有下降，尽管得分更好。
• 领域依赖：对于表格回归任务，一种聚合规则（考虑方差的加权平均）显著优于其他方法，表明这种脱节现象特定于高维生成任务。
• 理论收获：将得分相加相当于在逆扩散 SDE 中加入漂移项。虽然这可以使分布更紧凑（从而提升似然），但也可能对随机轨迹进行过度正则化，限制了实现低 FID 所需的多样性。

实际意义

• Ensembling is not a free win for image generation – 如果你的主要目标是更低的 FID 或视觉上更好的样本，单纯对 diffusion scores 进行平均很可能帮不到忙，甚至会适得其反。
• Use ensembles for likelihood‑sensitive applications – 对密度估计、异常检测或任何下游需要使用模型 log‑probability 的任务，使用集成可以获得统计上的提升。
• Guidance‑style tricks already embed ensemble ideas – 论文的分析表明 classifier‑free guidance 在数学上等价于两个分数（conditional + unconditional）的加权和。理解这一点可以帮助你更系统地调节 guidance scales。
• Resource budgeting – 训练多个 diffusion 模型成本高昂（GPU‑hours、显存）。在大多数生成流水线中，likelihood 的有限提升可能不足以抵消这些开销。
• When to consider ensembles – 如果你已经拥有多个预训练的 diffusion checkpoint（例如来自超参数搜索），并且需要更精确的 likelihood 估计用于评估或下游打分，快速进行 Deep Ensemble 可能是值得的。

限制与未来工作

• 数据集范围 – 实验仅限于 CIFAR‑10 和 FFHQ；更大、更多样化的数据集（例如 ImageNet）可能会揭示不同的动态。
• 集成多样性 – 所有基础模型共享相同的架构和训练计划；更丰富的多样性（不同的架构、训练目标）尚未探索。
• 度量广度 – 本研究聚焦于 FID/IS；其他感知度量（例如 CLIPScore、人类偏好研究）可能对集成的响应不同。
• 理论空白 – 虽然论文提供了关于得分相加的直觉，但何时似然提升会转化为感知提升的完整特征仍待研究。

未来的工作可以研究异构集成、自适应加权方案以平衡似然和多样性，并将这些洞见应用于条件扩散（文本到图像、图像修复），其中引导已经扮演了核心角色。

作者

• Raphaël Razafindralambo
• Rémy Sun
• Frédéric Precioso
• Damien Garreau
• Pierre-Alexandre Mattei

论文信息

• arXiv ID: 2601.11444v1
• 类别: cs.LG, cs.CV, math.ST, stat.ME, stat.ML
• 出版时间: 2026年1月16日
• PDF: 下载 PDF