[Paper] 在基于预量化的科学数据压缩器中通过量化感知插值减轻伪影

发布: 3天前 (2026年2月24日 GMT+8 02:09)

8 分钟阅读

原文: arXiv

Source: arXiv - 2602.20097v1

概述

本文解决了高通量科学数据压缩中的一个细微但重要的问题：使用预量化技术时出现的伪影。虽然预量化能够实现大规模并行和超高速压缩率，但在用户允许相对较大误差界限时，它可能会降低重建数据的保真度。作者提出了一种量化感知插值方法，能够在不牺牲预量化优势的前提下清除这些伪影。

Artifact Characterization（伪影特征化）: 对量化索引（压缩器输出的整数码）与重构误差之间的关系进行系统分析，揭示视觉和统计伪影的根本原因。
Quantization‑Aware Interpolation (QAI)（量化感知插值）: 一种新颖的后处理算法，利用已知的量化区间在解压缩过程中进行更精确的插值。
Scalable Parallel Implementation（可扩展并行实现）: QAI 为共享内存（多线程）和分布式内存（MPI）环境设计，保持底层压缩器的高吞吐量。
Empirical Validation（实证验证）: 在五个真实科学数据集（如气候、天体物理、计算流体力学）上使用两种最先进的预量化压缩器进行实验，显示出显著的质量提升，同时压缩速度几乎保持不变。

Artifact Diagnosis（伪影诊断）：
- 作者对现有的预量化压缩器进行仪器化，以记录每个数据点的量化索引。
- 通过比较原始值、量化后值和最终解压缩值，他们将误差模式映射到特定的索引转换（例如块边界处的突变）。
Design of QAI（QAI 设计）：
- Quantization Awareness（量化感知）： 与其将压缩后的整数视为黑箱，QAI 重建每个索引所代表的区间（例如 [v_i, v_i + Δ]）。
- Local Interpolation（局部插值）： 对于每个点，QAI 检查相邻索引并执行加权插值，遵循量化区间，从而有效地“平滑”阶梯状伪影。
- Boundary Handling（边界处理）： 特殊逻辑确保块的边缘或不规则数据形状得到正确处理，避免过度平滑。
Parallelization Strategy（并行化策略）：
- Shared‑Memory（共享内存）： 将数据网格划分为瓦片；每个线程独立处理一个瓦片，使用线程本地缓冲区访问邻近数据。
- Distributed‑Memory（分布式内存）： 将全局数据集划分到不同的 MPI 进程（rank）上；在 QAI 本地运行之前，通过 halo 交换提供跨 rank 边界的邻居信息。
Integration with Existing Compressors（与现有压缩器的集成）： QAI 位于解压缩阶段之后，仅需要量化索引流（压缩器已输出）和原始误差界限。无需对压缩流水线进行任何修改。

Source: …

压缩器	数据集	误差界限	基准 PSNR*	QAI 增强后 PSNR	吞吐量 (GB/s)
SZ‑preq	气候 (2 TB)	1e‑3	38.2 dB	44.7 dB (+6.5 dB)	12.3
ZFP‑preq	天体物理 (1.5 TB)	5e‑4	35.8 dB	41.2 dB (+5.4 dB)	10.9

*峰值信噪比（Peak Signal‑to‑Noise Ratio），数值越高质量越好。

质量提升： 在全部五个数据集上，QAI 将 PSNR 提高了 4–7 dB，显著降低了可视条纹和统计偏差。
几乎无额外开销： 额外的插值步骤导致的运行时间开销小于 5 %，保持了预量化压缩器常见的 > 10 GB/s 压缩速度。
可扩展性： 在最高 256 核（共享内存）和 1024 MPI 进程（分布式）下的强扩展测试显示出近线性加速，证明 QAI 在大规模运行时不会成为瓶颈。

更高保真度的现场分析： 科学家现在可以在现场实时运行有损压缩，使用更大的误差界限（以满足存储限制），同时仍然信任后续分析结果。
即插即用升级： 由于 QAI 作为后处理层工作，已有使用 SZ‑preq、ZFP‑preq 或类似压缩器的 HPC 工作流可以在几乎不修改代码的情况下采用它。
降低存储成本： 更好的重建质量意味着在相同的存储预算下可以容纳更多数据或 更长时间 的模拟运行，而不会牺牲科学洞察。
边缘计算与物联网： 该算法的低开销使其对带宽受限、需要在传输前进行快速有损压缩的传感器具有吸引力——例如卫星遥测或大规模环境传感器网络。

要点: 通过让解压缩步骤感知量化区间，作者提供了一个轻量且强大的解决方案，解决了预量化压缩器长期存在的质量问题——为当今数据密集型科学计算中更快、更高质量的数据压缩打开了大门。