[Paper] 使用 Diffusion Model 的创意图像生成

Source: arXiv - 2601.22125v1

请提供您希望翻译的具体文本内容（例如摘要、引言或其他章节），我将按照您的要求将其翻译成简体中文，并保留原始的格式、Markdown 语法以及技术术语。谢谢！

概述

本文介绍了一种新方法，诱导基于扩散的文本到图像模型产生 创意 输出——这些图像既高质量，又不太可能出现在常规的 CLIP 嵌入空间中。通过将生成过程引导至低概率区域，作者实现了令人惊艳的全新视觉效果，同时不牺牲真实感，为 AI 辅助的想象力开辟了新途径。

关键贡献

• 通过逆 CLIP 概率的创造力度量： 将创造力定义为图像嵌入在 CLIP 训练分布下的逆概率。
• 扩散模型的概率引导： 实现一种损失，使生成样本进入 CLIP 空间的低密度区域，鼓励稀有概念。
• 回拉机制： 引入纠正步骤，将样本拉回数据流形，保持视觉保真度的同时维持高创造力。
• 统一框架： 可与现成的文本到图像扩散模型（例如 Stable Diffusion）配合使用，无需手工提示工程或概念混合。
• 广泛的实证验证： 表明该方法在多个基准上始终产生更新颖、发人深省的图像。

方法论

1. Embedding‑Space Density Estimation – 预训练的 CLIP 模型将任意图像映射到高维嵌入空间。作者在大规模图像语料库的嵌入上拟合一个简单的密度估计器（例如高斯混合模型），得到概率密度函数 (p_{\text{CLIP}}(z))。
2. Creativity Loss – 在扩散采样过程中，加入辅助损失项 (\mathcal{L}{\text{crea}} = -\log p{\text{CLIP}}(z_t))，其中 (z_t) 是当前潜在变量的 CLIP 嵌入。最小化该损失会将潜在变量推向 (p_{\text{CLIP}}) 较低的区域（即“稀有”嵌入）。
3. Pullback Step – 每个扩散步骤之后，进行一次小幅校正更新，将潜在变量拉回到学习到的扩散流形上，使用标准的去噪得分。这可以防止样本漂移到不真实的伪影。
4. Integration with Existing Pipelines – 创意损失在常规的 classifier‑free guidance 之上叠加，只需在每个扩散时间步额外进行几次 CLIP 前向传播，使该方法能够兼容现有的推理管线。

结果与发现

• 定量新颖性： 通过生成的嵌入与训练分布之间的 KL‑散度衡量，所提方法相较于基线扩散采样实现了 2–3 倍的提升。
• 视觉保真度： FID 分数与原始模型相当（ΔFID < 0.05），验证了回拉机制成功保持了图像质量。
• 人工评估： 在一项包含 200 名参与者的盲测中，78 % 的创意样本被评为“更具想象力”，而 85 % 仍被认为“合理”。
• 效率： 额外的 CLIP 前向传播将推理时间增加约 15 %，鉴于新颖性的提升，这是一种适度的开销。

实际影响

• 设计与广告： 品牌可以生成引人注目的概念（例如，产品模型、活动艺术），使其在常规 AI 生成的库存图片中脱颖而出。
• 游戏开发与视觉特效（VFX）： 艺术家可以探索非传统的纹理、生物或环境，而无需为每种变体手动编写提示。
• 快速原型制作： 开发创意助理（例如，AI 驱动的头脑风暴工具）的开发者可以嵌入创意损失，以提出真正新颖的视觉创意。
• 内容审核与安全： 通过了解低概率区域，平台可以更好地预判新颖且可能有问题的内容，在其传播之前进行干预。

限制与未来工作

• 密度估计器的简易性： 当前的高斯‑混合模型可能无法捕捉 CLIP 空间中的复杂多模态结构，限制了“创造力”的细粒度表现。
• 计算开销： 虽然不大，但额外的 CLIP 计算可能对实时移动应用构成阻碍。
• 创造力的主观性： 逆概率度量只是一个代理；未来工作可以加入用户反馈循环或多模态新颖性度量。
• 跨模态扩展： 将相同原理应用于视频或 3‑D 资产生成仍是一个未解的研究方向。

底线： 通过在 CLIP 的嵌入世界中将创造力重新定义为概率追求，这项工作为开发者提供了一个原则性的即插即用工具，使扩散模型能够超越熟悉的范畴，进入真正的想象领域。

作者

• Kunpeng Song
• Ahmed Elgammal

论文信息

• arXiv ID: 2601.22125v1
• 分类: cs.CV
• 出版日期: 2026年1月29日
• PDF: 下载 PDF