[论文] FastFlow：通过Bandit推断加速生成流匹配模型

Source: arXiv - 2602.11105v1

概述

FastFlow 解决了现代生成流匹配模型的最大痛点之一：它们能够生成惊艳的图像和视频，但顺序去噪步骤导致推理速度极慢。通过将推理过程转化为自适应的“跳过若干步骤”问题，FastFlow 在无需重新训练底层模型的情况下实现了超过 2.6 倍的加速，并且可直接用于图像合成、视频生成和编辑流水线。

关键贡献

• Plug‑and‑play 加速 – FastFlow 可以直接嵌入任何现有的流匹配模型（例如 FFJORD、FlowMatch），无需修改其权重或训练过程。
• 有限差分速度外推 – 利用先前计算的速度的廉价有限差分估计来近似中间步骤的去噪轨迹，从而消除完整神经网络前向传播的需求。
• 基于 Bandit 的步长跳过 – 将“跳过多少步”表述为多臂赌博机问题；Bandit 在线学习哪些跳过长度在保持高质量的同时最大化速度。
• 任务无关的泛化 – 在无条件图像生成、文本到图像编辑以及视频合成上进行演示，展示了跨模态的一致速度‑质量权衡。
• 开源实现 – 完整代码已发布（GitHub），实现可复现性，并易于与 PyTorch‑Lightning、Diffusers 等流行库集成。

方法论

1. 速度预测基线 – 一个流‑匹配模型预测一个 速度场 (v_t(x))，它告诉在时间索引 (t) 递减时如何将噪声样本 (x_t) 移向干净的数据点。

2. 检测“平坦”段落 – FastFlow 监控连续速度更新的幅度。当两个连续预测之间的变化低于阈值时，该步被视为 低影响。

3. 有限差分外推 – 对于跨越 (k) 步的低影响段，FastFlow 使用简单的有限差分公式近似中间状态：

   $$
   x_{t-k} \approx x_t - \sum_{i=0}^{k-1} \Delta t_i , \hat{v}_{t-i}
   $$

   其中 (\hat{v}_{t-i}) 为先前计算的速度。跳过的步骤不需要神经网络评估。

4. Bandit 控制器 – “跳过多少步？”的决策被视为一个多臂老虎机问题，臂 = 可选的跳过长度（例如 1、2、4、8）。每次生成后，一个轻量级质量代理（如学习的感知图像块相似度得分）提供奖励。Bandit 根据奖励更新策略，倾向于在保证高质量的同时最小化计算的跳过长度。

5. 自适应循环 – 在推理期间，FastFlow 反复执行：
   (a) 对当前步运行完整模型，
   (b) 向 Bandit 询问跳过长度，
   (c) 外推接下来的若干状态，
   (d) 重复直至达到最终时间步。

结果与发现

• Bandit（多臂赌博机）快速收敛（≈ 200 代）至稳定的跳过策略，平衡速度与保真度。
• 定性检查表明，外推帧保留了细粒度细节和时间一致性，证实有限差分近似对轨迹的“平滑”部分已足够。
• FastFlow 的提升在不同模型规模上保持一致（从小型 30 M 参数到大型 200 M 参数的流匹配网络），表明该方法具备可扩展性。

实际影响

• 更快的原型设计 – 开发者可以在生成式应用（例如 UI 原型、视频特效）上进行近实时反馈的迭代，将每个样本的延迟从分钟级显著降低到秒级。
• 生产成本降低 – 云端推理费用与 GPU 时间成正比；2.6 倍的加速相当于为每日提供数百万生成资产的服务带来相应的成本节约。
• 边缘部署 – 由于 FastFlow 跳过了许多繁重的前向传播，内存占用和计算需求下降，使得流匹配模型能够在消费级 GPU 甚至高端移动 SoC 上运行。
• 兼容现有流水线 – 无需重新训练，团队可以在已有的扩散/流模型之上直接采用 FastFlow，保留在数据和微调上的投入。
• 混合流水线的潜力 – FastFlow 的 bandit 控制器可以与其他加速技巧（例如模型量化、提前退出分类器）结合，实现更大的加速。

限制与未来工作

• 质量代理依赖 – 该 bandit 依赖于快速、可微分的质量估计器；如果代理与人类感知不一致，跳过策略可能会变得过于激进。
• 高度非线性轨迹 – 在出现突变的情形（例如视频中的突然剪辑或强条件转移），有限差分外推可能会产生伪影，需要更频繁地进行完整模型评估。
• Bandit 预热成本 – 前几百代用于让 bandit 学习有效策略，这对一次性生成任务可能是一个障碍。
• 作者提出的未来方向：
  1. 学习更具表达性的外推模型（例如轻量级循环网络），以处理更剧烈的动态变化。
  2. 将 bandit 框架扩展至联合优化其他资源，如内存带宽。
  3. 探索课程式训练，让模型显式学习生成更平滑的速度场，从而更易于跳过。

FastFlow 证明了流匹配生成模型的推理不必成为瓶颈。通过将步跳转问题转化为在线学习问题，它为以实际产品可用的速度实现高保真生成打开了大门。

作者

• Divya Jyoti Bajpai
• Dhruv Bhardwaj
• Soumya Roy
• Tejas Duseja
• Harsh Agarwal
• Aashay Sandansing
• Manjesh Kumar Hanawal

论文信息

• arXiv ID: 2602.11105v1
• 分类: cs.CV
• 出版日期: 2026年2月11日
• PDF: 下载 PDF