[Paper] 价值梯度引导用于流匹配对齐

发布: 20小时前 (2025年12月5日 GMT+8 02:59)

7 min read

原文: arXiv

Source: arXiv - 2512.05116v1

概览

本文提出 VGG‑Flow，一种对大型流匹配生成模型（例如 Stable Diffusion 3）进行微调的方法，使其遵循人类定义的偏好，同时不牺牲模型的原有知识。通过将对齐问题表述为最优控制问题，作者实现了快速、计算高效的适配，并保持了预训练的“先验”不变。

价值梯度引导：表明对预训练速度场的最优调整可以表示为学习到的价值函数的梯度。
梯度匹配微调：提出一种简单的一阶损失，使模型的速度场与价值梯度对齐，避免了昂贵的强化学习循环。
启发式价值函数初始化：引入一种实用的价值函数自举方式，大幅加速收敛。
在 Stable Diffusion 3 上的实证验证：展示 VGG‑Flow 能在严格的计算预算下对最先进的文本到图像模型进行对齐，同时保持视觉质量和多样性。

背景 – 流匹配
- 流匹配模型学习一个 速度场 (v_\theta(x,t))，将简单的噪声分布在连续时间上输送到数据分布。
- 采样通过对该场积分实现（例如使用 ODE 求解器）。
对齐目标
- 我们拥有一个 奖励模型 (R(x))，用于评分生成样本与人类偏好的匹配程度（如“更真实”或“包含猫”）。
- 理想的对齐模型应生成 最大化期望奖励 且 保持与原始预训练分布接近 的样本。
最优控制形式化
- 将速度调整 (\Delta v(x,t)) 视为控制输入。
- 在惩罚偏离预训练速度场的前提下最大化期望奖励的最优控制满足 Hamilton‑Jacobi‑Bellman (HJB) 方程。
价值梯度引导
- HJB 的解给出一个 价值函数 (V(x,t))，其梯度 (\nabla_x V) 指示如何修改速度场的方向。
- VGG‑Flow 并不求解完整的 HJB，而是匹配预训练速度加上可学习的校正 (\Delta v) 与梯度 (\nabla_x V)：

[ \min_{\phi}; \mathbb{E}{x,t}\bigl|,\Delta v\phi(x,t) - \nabla_x V_\psi(x,t),\bigr|^2 ]

启发式初始化
- 将价值网络用一个简单的代理（例如将奖励模型的 logits 通过浅层 MLP）进行种子化，使得早期梯度已经指向更高奖励的区域。
训练循环
- 从预训练模型中采样轨迹。
- 计算奖励，使用 TD‑style 回归更新价值网络，然后使用梯度匹配损失更新校正网络。
- 不需要强化学习回滚或策略梯度估计，从而保持计算成本低。

奖励模型依赖：对齐质量取决于外部奖励模型的可靠性；有偏或噪声较大的奖励会直接传递到生成器。
启发式价值初始化：虽然有效，但目前仍是手工构造的；学习更具原理性的先验可能进一步加速收敛。
对超大模型的可扩展性：实验仅限于 Stable Diffusion 3（约 30 亿参数）。将 VGG‑Flow 推广至数十亿参数的扩散管线可能需要额外的内存高效技巧。
理论保证：本文提供了直观的最优控制推导，但缺乏形式化的收敛证明；后续工作可加强理论基础。

结论：VGG‑Flow 为将强大的流匹配生成器与人类偏好对齐提供了一套开发者友好的方案——快速、低成本且对模型原有能力影响最小。它是让大型生成模型在生产环境中真正可定制的有前景的一步。