[Paper] ClusIR: 面向聚类引导的全能图像恢复

发布: 1个月前 (2025年12月12日 GMT+8 02:59)

8 min read

原文: arXiv

Source: arXiv - 2512.10948v1

Overview

本文介绍了 ClusIR，一种全新的“一站式”图像恢复框架，能够在单一模型中处理多种图像退化——模糊、噪声、压缩伪影，甚至它们的混合。通过显式聚类退化类型并利用这些聚类来指导空间域和频域处理，ClusIR 在保持系统可在真实场景中部署的前提下，实现了比以往通用恢复模型更高的视觉保真度。

可学习的退化聚类
- 网络首先为每个输入图像（或图像块）提取紧凑的特征向量。
- 轻量级聚类头预测 K 个退化聚类的概率分布（例如 “高斯噪声”、 “运动模糊”、 “JPEG 压缩”）。
- 这些概率被视为软标签，使模型在退化混合时能够表达不确定性。
概率聚类引导路由 (PCGRM)
- 每个聚类对应一个小型的 “专家” 子网络，专门处理该退化族。
- 软聚类概率对所有专家的输出进行加权，实际上是将图像通过专家的混合而非硬切换进行路由。
- 该设计在训练期间保持梯度稳定，避免了硬路由混合专家中常见的 “专家崩溃” 问题。
退化感知频率调制 (DAFMM)
- 路由后的特征图通过频率分解块（如可学习的小波或傅里叶分割）。
- 聚类概率调制每个频段的增益，使模型能够根据识别出的退化放大或抑制细节（例如，对去噪提升高频，对去模糊保留低频）。
- 调制后的频段重新合成，得到兼顾结构完整性和细腻纹理的恢复图像。
训练目标
- 结合重建损失（L1/L2）、感知损失（基于 VGG）以及鼓励聚类嵌入区分度的聚类正则项。
- 端到端训练使聚类、路由和频率模块能够共同适应。

定量提升： 在五个基准套件（如 DIV2K‑Denoise、GoPro‑Deblur、JPEG‑Artifacts）上，ClusIR 相比最强基线提升 PSNR/SSIM 0.3–0.9 dB，混合退化测试集的提升尤为显著。
视觉质量： 并排对比显示边缘更锐利、环形伪影更少、纹理更自然，尤其在图像同时受到模糊和压缩影响时。
消融实验： 去除 PCGRM 会导致约 0.5 dB 的性能下降，关闭 DAFMM 则出现明显的纹理损失，验证了空间路由和频率调制的双重必要性。
效率： 虽然包含多个专家，软路由支持并行执行；整体 FLOPs 与单任务恢复网络相当，因而可在现代 GPU 上实现实时推理。

聚类粒度： 当前方法预先固定聚类数 K；若 K 过低会低估罕见退化，过高则会稀释专家专精度。可探索自适应或层次化聚类。
极端退化： 对于非常严重或分布外的腐蚀（如强雨条纹、传感器饱和）仍然具有挑战性，需更广泛的训练数据或额外的专家模块。
可解释性： 虽然聚类概率可得，但将其映射到人类可读的退化名称仍需后处理；更紧密地结合显式退化描述可提升透明度。
低功耗硬件的实时约束： 虽然 FLOPs 与单任务模型相当，但并行专家执行的内存带宽在超低功耗设备上仍可能成为瓶颈；模型剪枝或专家集合的知识蒸馏是有前景的方向。

ClusIR 证明了语义聚类与频域调制的精心协同，终于实现了一套真正的“一站式”图像恢复系统，既实用又高性能，能够满足当今多样化视觉数据流水线的需求。