[Paper] HiStream：通过消除冗余的流式传输实现高效高分辨率视频生成

发布: 22小时前 (2025年12月25日 GMT+8 02:59)

7 min read

原文: arXiv

Source: arXiv - 2512.21338v1

概述

HiStream 解决了使用扩散模型生成高分辨率视频的长期瓶颈。通过系统性地消除空间、时间和去噪步骤中的冗余计算，作者们提供了一个框架，能够以现有方法成本的一小部分生成 1080p 视频——使得真正的高保真视频合成对开发者和媒体流水线变得实用。

空间压缩管线 – 首先对低分辨率版本进行去噪，然后在上采样时复用缓存的高层特征，以避免对每帧重新计算全分辨率扩散。
带锚点缓存的时间块处理 – 将视频划分为固定大小的块，保持一个小的“锚点”缓存，使生成在块之间保持稳定，并且无论视频长度如何都能实现恒定的推理速度。
后续块的时间步压缩 – 对已经基于缓存信息进行条件化的块减少扩散步骤数，在不明显降低质量的情况下削减计算量。
两种模型变体 – HiStream（空间 + 时间优化）实现最高 76× 加速，且视觉质量达到业界领先水平；HiStream+（加入时间步压缩）将加速提升至 107×，仅以轻微的保真度折衷为代价。
全面的 1080p 基准测试 – 与强大的 Wan2.1 基线相比，展示了更优的感知质量（通过 FVD、LPIPS 和用户研究衡量），同时显著缩短运行时间。

HiStream 将高分辨率视频扩散重新表述为一个 自回归流式问题：

低分辨率去噪 – 模型首先在下采样后的视频（例如 240p）上运行标准的扩散过程。此低成本的过程捕获整体运动和粗略外观。
特征缓存 – 将低分辨率过程中的中间潜在特征保存下来。当高分辨率上采样阶段运行时，它会以这些缓存特征为条件，使得昂贵的高分辨率扩散只需细化细节，而无需从头开始。
块‑块时间处理 – 将视频划分为重叠的块（例如 8 帧）。一个 “锚点” 帧（或少数几帧）保存在固定大小的缓存中，并在相邻块之间复用，从而在保持内存受限的同时确保时间一致性。
后续块减少时间步 – 由于后续块已经从锚点缓存中继承了上下文，扩散调度可以缩短（去噪步数更少），进一步削减计算量。

这三种技巧相互独立且可组合，这也是 HiStream+ 将它们堆叠以实现最大速度的原因。

Model	Resolution	FVD ↓ (lower better)	LPIPS ↓	Speedup vs. Wan2.1
Wan2.1 (基线)	1080p	210	0.31	1×
HiStream (i + ii)	1080p	188	0.28	≈ 76×
HiStream+ (i + ii + iii)	1080p	200	0.30	≈ 107×

内容创作流水线 – 工作室和独立开发者现在可以在单个 GPU 上在几分钟内生成 1080p（或更高）视频，而不是数小时，从而为快速原型、AI 辅助特效以及游戏中的即时视频合成打开了大门。
实时或准实时应用 – HiStream 的流式特性使其适用于交互式工具（例如 AI 驱动的视频编辑器、直播叠加），在这些场景中延迟至关重要。
边缘部署 – 由于大部分扩散计算在低分辨率完成，而高分辨率细化复用了缓存特征，该方法可以在不同设备之间拆分（例如低分辨率在服务器上，高分辨率上采样在本地工作站上）。
成本降低 – 70‑100 倍的加速直接转化为更低的云 GPU 费用，使大规模视频生成对 SaaS 平台在经济上可行。

总体而言，HiStream 标志着在为开发者和行业实现高分辨率视频扩散实用化方面迈出了重要一步，同时也留下了进一步完善和更广泛采用的明确路径。