[Paper] Flow-OPD：用于 Flow Matching 模型的 On-Policy 蒸馏

Source: arXiv - 2605.08063v1

概述

Flow‑OPD 引入了首个后训练框架，将 on‑policy distillation (OPD) 引入 flow‑matching text‑to‑image models。通过解决奖励稀疏性和梯度干扰——这两个长期阻碍多任务对齐的难题，作者在保持图像保真度的同时，实现了审美质量和任务特定性能的显著提升。

关键贡献

• 两阶段对齐流水线：
  1. 领域专用教师 使用单奖励 GRPO 进行微调，使每个专家都能达到各自的性能上限。
  2. 统一学生模型 通过新颖的 OPD 工作流构建，采样 on‑policy 轨迹，将其路由至相应的教师，并施加密集的轨迹级监督。
• 基于流的冷启动：一种轻量化的初始化方式，在蒸馏开始前为学生提供稳定的策略，避免了 RL‑based 对齐常见的“冷启动”不稳定性。
• 流形锚点正则化 (MAR)：利用任务无关的教师提供全数据监督，将生成结果锚定到高质量的潜在流形上，防止纯 RL 微调时常见的美感下降。
• 在 Stable Diffusion 3.5 Medium 上的实证突破：GenEval 提升 29 分 (63 → 92)，OCR 准确率提升 35 分 (59 → 94)，平均比 vanilla GRPO 高约 10 分。
• 出现的“教师超越”效应：蒸馏后的学生模型不仅继承了教师的最佳特性，还在多个指标上超越它们，暗示了协同知识整合的潜力。

方法论

1. 教师创建（阶段 1）

   • 每个任务（例如，美学评分、OCR 可读性、风格遵循）都有其专属的 教师模型。
   • 教师使用 GRPO（一种梯度奖励策略优化变体）进行微调，每个任务只使用 单一标量奖励，从而确保梯度干净且不冲突。

2. 冷启动学生初始化

   • 从基础 Stable Diffusion 检查点出发，施加 flow‑matching loss，得到一个行为良好的扩散策略，使其在没有任何 RL 信号的情况下也能生成合理的图像。

3. 在线策略蒸馏（阶段 2）

   • 在线采样：学生生成图像轨迹（完整的扩散去噪路径）。
   • 任务路由标注：每条轨迹由所有教师评估；奖励最高的任务特定教师“认领”该轨迹，并提供密集的监督信号（逐步潜在预测）。
   • 密集轨迹级监督：学生被训练去模仿教师的逐步潜在预测，实质上学习的是 轨迹级策略，而不是单一的终态损失。

4. 流形锚正则化（MAR）

   • 一个 任务无关的教师（原始扩散模型）提供完整的数据重建损失，将学生的输出锚定在高质量图像流形上，抵消奖励驱动更新可能导致的漂移。

整个流水线 仅在后训练阶段 进行——无需修改原始扩散架构，因而可以即插即用于现有模型。

结果与发现

• 超越教师：在多个未见提示上，学生模型的得分比最佳教师高出 2–4 分，表明密集的轨迹级监督使模型能够融合互补的优势。
• 稳定性：训练曲线显示平滑收敛，没有仅使用 RL 微调时常见的振荡，这归功于 MAR 锚点的作用。
• 可扩展性：新增任务只需训练一个额外的教师模型；学生模型可以在几乎不增加计算成本的情况下重新蒸馏（≈原始微调预算的 1.3 倍）。

实际意义

• Generalist diffusion models: 企业现在可以构建一个单一的文本到图像服务，该服务在美感、可读性、风格迁移以及特定领域约束方面同时表现出色，无需维护多个微调检查点。
• Rapid task onboarding: 添加新的对齐目标（例如品牌指南合规）只需训练一个单奖励教师并重新运行 OPD 阶段——无需对完整模型进行重新训练。
• Cost‑effective alignment: 由于学生模型从教师模型中继承了密集监督，与仅使用多目标强化学习的流水线相比，总体 RL 预算大幅下降，从而降低云 GPU 成本。
• Higher user satisfaction: OCR 准确率和美学评分的提升直接改善了下游应用，如自动报告生成、UI 原型制作和营销资产生产。
• Open‑source friendliness: 该方法可基于任何扩散检查点使用（作者在 Stable Diffusion 3.5 Medium 上进行了演示），因此可立即应用于社区模型。

限制与未来工作

• 教师质量上限：学生无法超越其教师的整体知识；如果某个任务缺乏强教师，性能将受到限制。
• 路由的计算开销：在蒸馏期间对每条轨迹与所有教师进行评估会增加适度的推理成本，任务数量达到数十时可能变得显著。
• 任务路由启发式：当前路由依赖最高标量奖励；更复杂的多目标仲裁（例如帕累托前沿选择）可能带来更好的权衡。
• 对非图像模态的泛化：虽然该框架在概念上可用于音频或视频扩散，但实证验证仍在等待中。
• 长期稳定性：作者指出在多次蒸馏周期后会出现偶尔的“漂移”；未来工作将探索自适应 MAR 加权或基于课程的教师更新。

总体而言，Flow‑OPD 为基于扩散的生成模型提供了通往 可扩展的多任务对齐 的实用路径，弥合了研究级别的 RL 微调与生产就绪的通用 AI 服务之间的差距。

作者

• Zhen Fang
• Wenxuan Huang
• Yu Zeng
• Yiming Zhao
• Shuang Chen
• Kaituo Feng
• Yunlong Lin
• Lin Chen
• Zehui Chen
• Shaosheng Cao
• Feng Zhao

论文信息

• arXiv ID: 2605.08063v1
• 分类: cs.CV, cs.AI
• 出版日期: 2026年5月8日
• PDF: Download PDF