[Paper] SenCache：通过敏感度感知缓存加速扩散模型推理

Source: arXiv - 2602.24208v1

（请提供您希望翻译的具体文本内容，我将按照要求进行翻译并保留原始格式。）

概述

扩散模型已成为高保真视频生成的首选技术，但其推理成本仍然高昂，因为它们需要数百个顺序去噪步骤。SenCache 引入了一种基于敏感性的原则性缓存策略，决定 何时 和 哪些 中间结果可以复用，从而在不牺牲视觉质量的前提下降低计算量。

关键贡献

• 感知灵敏度的误差分析： 推导出模型输出对噪声潜变量和时间步的灵敏度与缓存引入误差之间的形式化关联。
• 动态逐样本缓存策略（SenCache）： 使用灵敏度度量在运行时选择缓存/复用时间步，而不是依赖静态、手工调优的启发式规则。
• 对现有启发式方法的理论解释： 阐明先前基于规则的方法为何有时有效，以及如何系统性地改进它们。
• 在三种最先进的视频扩散模型（Wan 2.1、CogVideoX、LTX‑Video）上的实证验证： 在相似 FLOP 预算下展示出更优的视觉质量。

方法论

1. 模型输出敏感度定义 – 对于扩散步骤，作者将去噪函数 f 视为从噪声潜在 zₜ 和时间步 t 到下一个潜在的映射。他们计算 f 对两个输入的梯度，得到一个标量敏感度分数 S(zₜ, t)，用于量化微小扰动会导致输出变化的程度。
2. 缓存误差界 – 通过在缓存点附近对 f 进行线性化，他们证明在复用缓存输出时，期望误差与 S(zₜ, t) 成正比增长。
3. 自适应选择规则 – 在推理过程中，SenCache 为当前步骤评估 S。如果分数低于用户设定的阈值，则该步骤 跳过，并复用最近之前步骤的缓存输出；否则正常执行模型并将结果存入缓存以供后续复用。
4. 逐样本决策 – 由于 S 对每个视频样本单独计算，缓存调度自然会适应内容复杂度（例如快速运动与静态场景）。
5. 实现细节 – 敏感度计算几乎不增加开销（仅需少量额外的矩阵‑向量乘），且可以与现有推理管线融合。

结果与发现

• 视觉质量： 用户研究显示，在相同加速率下，SenCache 输出的偏好度比先前缓存方法高出 22 %。
• 计算节省： FLOP 减少幅度与最佳启发式方法相当；额外的灵敏度检查耗时 < 1 % 的总推理时间。
• 鲁棒性： 自适应策略会在运动量大的片段（灵敏度高）自动降低缓存比例，防止出现明显的伪影。

实际意义

• 更快的视频生成服务： 云提供商可以在每个视频上节省高达 15 % 的 GPU 时间，而几乎没有质量损失，从而降低运营成本。
• 边缘部署： 计算资源受限的移动或嵌入式设备可以通过积极缓存低灵敏度步骤，实现近实时的基于扩散的视频合成。
• 工具集成： SenCache 的灵敏度指标可以作为简单的 API (should_cache(step, latent, t)) 暴露，便于接入现有的扩散库（例如 Diffusers、OpenAI 的 video‑gen SDK）。
• 动态质量‑与‑速度权衡： 开发者可以在运行时调节灵敏度阈值以满足延迟 SLA，提供一种渐进降级的路径，而不是二元的“全速 vs. 快速”切换。

Limitations & Future Work

• Sensitivity threshold selection 仍然需要进行小规模的验证扫描；完全自动化的阈值学习（例如通过强化学习）是一个未解决的方向。
• 当前分析假设去噪器的局部线性行为；高度非线性区域（例如突发的场景切换）仍可能导致更大的缓存误差。
• 实验聚焦于三个视频扩散模型；将研究扩展到图像扩散、文本到视频或多模态流水线将提升通用性。
• 与 training‑aware 加速（例如蒸馏）的集成可能带来更大的加速，是后续工作的一条有前景的途径。

作者

• Yasaman Haghighi
• Alexandre Alahi

论文信息

• arXiv ID: 2602.24208v1
• 分类: cs.CV, cs.LG
• 出版日期: 2026年2月27日
• PDF: 下载 PDF