[Paper] DiverseVAR：平衡下一尺度视觉自回归模型的多样性与质量

Source: arXiv - 2511.21415v1

概览

本文提出 DiverseVAR，一个即插即用的框架，能够在不进行重新训练或大量计算的情况下，大幅提升文本条件视觉自回归（VAR）模型生成图像的多样性。通过仅在推理阶段对模型进行微调，作者展示了 VAR 终于可以在保真度和创意多样性两方面匹配扩散模型，这一直是自回归生成器的长期盲点。

关键贡献

• 测试时多样性提升：在文本嵌入上加入简单的噪声注入步骤，迫使 VAR 在生成过程中探索不同的图像模式。
• 尺度旅行精炼：提出一种新颖的“潜在时光旅行”技术，从中间、更粗糙的表示重新开始生成，在保持质量的同时仍受益于注入的多样性。
• 帕累托最优权衡：证明噪声注入 + 尺度旅行的组合在仅有轻微图像质量下降的情况下，实现了多样性的显著提升，开辟了新的前沿。
• 零重新训练方案：可与任何现有的 VAR 检查点配合使用，能够立即应用于已经依赖自回归生成器的生产流水线。
• 广泛的实证验证：提供了定量（如 CLIP‑Score、Diversity Score）和定性证据，覆盖多个基准提示，显示出相较基线 VAR 的一致提升，并在多方面与扩散基线竞争。

方法论

1. 噪声增强的文本条件

   • 将原始文本提示编码为向量（即常规的文本嵌入）。
   • 在该嵌入上加入可控制幅度的高斯噪声，然后再送入 VAR 解码器。
   • 这一简单扰动促使模型从不同的潜在区域采样，提升输出的多样性。

2. 尺度旅行（潜在精炼）

   • 训练一次多尺度自编码器，将全分辨率图像映射为一系列层次化的 token 集（粗 → 细）。
   • 在生成过程中，当 VAR 已生成粗尺度的 token 序列（例如 1/8 分辨率）后，过程“回溯”到该中间点。
   • 模型随后在 不再注入噪声 的情况下继续从粗表示解码，使得细层能够清除伪影，同时保留先前引入的多样性。

3. 平衡策略

   • 噪声水平和尺度旅行触发点是超参数。
   • 通过遍历这些参数，作者绘制出多样性‑质量曲线，并选取位于帕累托前沿的运行点。

整个管线仅在推理时运行；不需要对 VAR 本身进行额外训练，且额外的自编码器相较完整的扩散模型轻量得多。

结果与发现

• 多样性跃升：仅加入噪声即可使 LPIPS 多样性提升三倍，但质量大幅下降。
• 尺度旅行恢复质量：精炼步骤恢复了大部分丢失的 CLIP‑Score，同时保留了多样性提升。
• 帕累托改进：在 10+ 提示上，组合方法在多样性‑质量图上始终优于基线，确立了 VAR 的新状态‑艺术权衡。
• 定性示例：对于提示 “a futuristic city at sunset”，基线 VAR 生成的天际线几乎相同，而 DiverseVAR 则产生了不同的建筑风格、光照条件和色彩方案——且仍保持写实。

实际意义

• 即插即用升级：已经使用基于 VAR 的生成器（如 UI 原型、游戏资产原型或快速设计迭代）的团队，只需在推理时加一层包装即可集成 DiverseVAR，无需改动模型训练流水线。
• 成本效益的多样性：相比往往需要大量采样步的扩散模型，DiverseVAR 只增加 <20 % 的延迟，却提供相当的多样性，适合对时延敏感的服务。
• 创意工具：设计师可以向终端用户提供一个 “多样性滑块”，让用户在不牺牲保真度的前提下调节输出的冒险程度。
• 数据集增强：合成数据流水线可以从单一文本描述生成更丰富、多样的图像语料库，提升下游任务（如目标检测或分割）的性能。
• 多模态工作流：由于技术作用于文本嵌入层，它可以与其他条件信号（如草图、深度图）结合，进一步在多模态生成管线中实现输出多样化。

局限性与未来工作

• 噪声敏感性：过大的嵌入噪声仍会导致不真实的伪影，寻找最佳噪声调度仍是经验性的。
• 尺度旅行粒度：当前的多尺度自编码器使用固定分辨率集合，更细的粒度可能带来更平滑的质量恢复。
• 领域转移：实验主要聚焦自然图像提示，尚未评估在高度抽象或特定领域（如医学影像）提示上的表现。
• 理论理解：本文对多样性提升的解释主要是经验性的，深入分析噪声在嵌入空间如何在自回归解码中传播，将有助于设计更具原理性的控制手段。

未来方向 包括基于提示复杂度的自适应噪声缩放、将尺度旅行与其他后处理（如超分辨率）结合，以及将该框架扩展到视频自回归模型以实现多样化的运动合成。