MoGAN：通过少步运动对抗后训练提升视频扩散中的运动质量

Source: arXiv - 2511.21592v1

概述

本文提出 MoGAN，一种轻量级的后训练插件，显著提升快速视频扩散模型的运动真实感。通过在蒸馏的 3 步视频扩散主干上附加一个聚焦运动的对抗判别器，作者实现了更平滑、更连贯的动态效果，同时不牺牲图像质量或推理速度。

关键贡献

• 以运动为中心的对抗后训练：基于 DiT 的光流判别器被训练用于捕捉不真实的运动，为标准 MSE 去噪缺乏的时间监督提供直接指导。
• 分布匹配正则化：在判别器推动更好运动的同时，保持原始扩散模型的视觉保真度。
• 少步高效：在 3 步蒸馏视频扩散模型之上工作，保留了近期快速采样器的速度优势。
• 强劲的实证提升：在 VBench 与 VideoJAM‑Bench 上的运动得分提升 +7–13 %，相较原始 50 步教师模型和 3 步蒸馏模型均有显著提升，且美学得分相当或更好。
• 人工验证：偏好实验显示 MoGAN 在运动质量上明显占优（相较教师模型 52 % vs. 38 %；相较蒸馏模型 56 % vs. 29 %）。

方法论

1. 基础模型 – 以 3 步蒸馏视频扩散模型（例如 Wan2.1‑T2V‑1.3B）为起点，该模型已能够快速生成高质量帧。
2. 光流判别器 – 一个 DiT（视觉 Transformer）网络接收短视频片段，计算光流，并学习判别运动来源是来自真实视频还是扩散生成器。
3. 对抗损失 – 生成器在微调时被迫欺骗判别器，直接鼓励时间上一致的运动。
4. 分布匹配正则化 – 额外的损失项（如 KL 或特征匹配）确保微调后的生成器不会偏离原始图像层面的分布，保持锐度和色彩保真。
5. 少步后训练 – 只需少量 epoch 的对抗微调；底层扩散权重基本保持不变，推理仍为 3 步。

整个流程是 后训练 步骤，意味着它可以应用于任何已有的视频扩散模型，而无需从头重新训练。

结果与发现

关键要点

• MoGAN 在保持 3 步运行时的前提下，显著提升 运动连贯性。
• 视觉保真度（锐度、色彩、纹理）未受损，在某些情况下甚至因正则化而提升。
• 该方法 不依赖奖励模型、强化学习或人工偏好数据，简化了部署流程。

实际意义

• 快速视频生成流水线（如内容创作工具、游戏资产流水线）可采用 MoGAN，在不付出 50 步扩散代价的情况下获得更平滑的运动。
• 实时或准实时应用（如 AI 驱动的视频化身、虚拟制作、交互式叙事）受益于低延迟且避免抖动输出。
• 由于 MoGAN 是 后训练插件，现有基于扩散的服务只需额外几小时的微调即可提升运动质量，无需完整模型重建。
• 光流判别器可替换为领域特定的运动评估器（如体育、医学影像），为专业行业提供 定制化运动真实感 的可能性。

局限性与未来工作

• 方法仍依赖 光流 作为运动代理；在极快运动或遮挡导致光流估计失效的场景中，提升可能受限。
• MoGAN 仅在单一主干（Wan2.1‑T2V‑1.3B）上评估，跨其他扩散架构的更广泛验证将加强论点。
• 对抗微调会带来 GAN 常见的训练不稳定性，需要仔细的超参数调节。
• 未来方向包括探索 多尺度判别器、融合 文本条件运动线索，以及将方法扩展到 更高分辨率 视频生成。

作者

• Haotian Xue
• Qi Chen
• Zhonghao Wang
• Xun Huang
• Eli Shechtman
• Jinrong Xie
• Yongxin Chen

论文信息

• arXiv ID: 2511.21592v1
• Categories: cs.CV
• 发布: November 26, 2025
• PDF: 下载 PDF