[Paper] EvoIR：面向全能图像恢复的进化频率调制

Source: arXiv - 2512.05104v1

概览

EvoIR 通过显式处理图像频率并让基于种群的优化器在训练过程中即时进化恢复策略，提出了一种全新视角的 All‑in‑One 图像恢复 (AiOIR)。通过将高频和低频信息分离并持续自适应损失平衡，该框架在从模糊、噪声到压缩伪影等多种退化上实现了更强、更一致的效果。

主要贡献

• 频率调制模块 (FMM)： 将特征图拆分为高频和低频分支并自适应加权，既保留结构又锐化细节。
• 进化优化策略 (EOS)： 一种轻量级的基于种群的算法，迭代调节频率感知的损失权重，降低竞争目标（如 PSNR 与感知质量）之间的梯度冲突。
• 协同设计： 实验证明 FMM 与 EOS 共同使用时的表现优于任一单独组件，证明显式频率建模与自适应优化是互补的。
• 领先的性能： 在多个公开的 AiOIR 数据集上创下新基准，量化指标和视觉保真度均超越以往的通用恢复方法。

方法论

1. 特征分解 – 主干网络提取退化图像的潜在表示。随后 FMM 将该表示通过两条平行路径传递：

   • 低频分支 捕获全局结构和平滑区域。
   • 高频分支 关注边缘、纹理和细微细节。
     学习得到的门控机制会根据每张图像动态平衡两条流，使模型能够针对特定退化强调最相关的频率。

2. 进化损失调度 – 与其固定使用静态的重建（如 L1）、感知（如 VGG）和对抗损失组合，EOS 维护一个由若干候选权重向量组成的“小种群”。每一代的过程为：

   • 在验证批次上使用多目标适应度（结构准确性 vs. 感知真实感）评估候选者。
   • 通过选择、交叉和变异产生新一轮权重。
   • 将表现最佳的权重集合反馈到训练循环，引导网络在当前退化批次上实现更好的权衡。

3. 训练循环 – 主干 + FMM 端到端训练，同时 EOS 每隔若干迭代更新损失权重。由于 EOS 只使用轻量级种群（例如 5–10 个候选），其开销相较于标准训练可以忽略不计。

结果与发现

• 一致性提升 在各种异构退化上均表现出显著增益，证实显式频率处理能够防止低频任务的过度平滑，同时仍能锐化纹理。
• 收敛更快： 与固定权重基线相比，EOS 将达到目标 PSNR 所需的 epoch 数减少约 20%。
• 消融实验 表明，去除 FMM 或 EOS 任一组件都会导致 PSNR 下降约 1–1.5 dB，凸显二者的互补作用。

实际意义

• 统一恢复服务： 开发者可以部署单一模型完成去噪、去模糊、超分辨率以及压缩伪影去除，简化照片编辑应用、流媒体服务和监控系统的流水线。
• 自适应质量控制： EOS 可作为运行时 API 暴露，依据用户定义的质量偏好（如优先锐度 vs. 自然感）实时调节损失权重。
• 边缘友好部署： FMM 只带来约 10% 的额外 FLOPs，可融合进现有的编码‑解码主干，适合移动端或嵌入式推理。
• 降低任务特定微调需求： 由于模型能够自动平衡频率，团队无需为每种退化维护单独的微调检查点，从而降低存储和维护成本。

局限性与未来工作

• 种群规模权衡： 虽然 EOS 已经很轻量，但更大的种群可能带来更优的损失调度，代价是更长的训练时间，这一平衡仍需系统性研究。
• 对极端退化的泛化： 当前基准聚焦于中等程度的真实噪声和压缩，针对严重受损输入（如强运动模糊）的表现仍有待验证。
• 向视频扩展： 作者指出，将进化频率调制应用于时间维度可能进一步提升视频恢复，这是一条值得探索的方向。

EvoIR 证明，将显式频率分解与进化损失平衡相结合，能够推动通用图像恢复向真正的 “全能” 性能迈进，为更灵活、开发者友好的恢复服务打开了大门。

作者

• Jiaqi Ma
• Shengkai Hu
• Jun Wan
• Jiaxing Huang
• Lefei Zhang
• Salman Khan

论文信息

• arXiv ID: 2512.05104v1
• 分类: cs.CV
• 发表时间: 2025 年 12 月 4 日
• PDF: Download PDF