[Paper] 扫描仪引起的域转移削弱了病理基础模型的鲁棒性

Source: arXiv - 2601.04163v1

概述

病理基础模型（PFMs）有望成为全切片图像（WSIs）的通用特征提取器，从而在计算病理学中实现广泛的下游分析。本研究揭示了一个隐藏的弱点：PFMs 对数字化组织的扫描仪类型出奇地敏感，这可能危及其在真实临床工作流中的可靠性。

关键贡献

• Systematic scanner‑shift benchmark: 在一个精心策划的多扫描仪乳腺癌数据集（来自五种不同扫描仪的 384 张全切片图像）上评估了 14 种 PFMs——包括最新的视觉‑语言模型、早期的自监督编码器以及自然图像基线。
• Dual evaluation strategy: 将无监督嵌入分析（可视化并量化扫描仪特定的聚类）与监督的临床病理任务（如肿瘤分级、激素受体状态）相结合，以评估模型的鲁棒性。
• Evidence of hidden bias: 表明虽然分类 AUC 在不同扫描仪之间往往保持稳定，但底层嵌入会发生漂移，导致系统性的校准误差和扫描仪依赖的预测偏差。
• No simple robustness predictor: 证明更大的训练语料库、更新的架构或更大的模型规模 并不能 保证对扫描仪的不可变性。
• Insight on vision‑language models: 这些模型在最异构的数据上进行训练，表现出相对更好的嵌入稳定性，但在下游任务性能上仍落后。
• Call for new evaluation standards: 主张在开发和基准测试 PFMs 时，必须将对采集变异性的鲁棒性作为一级指标。

方法论

1. 数据集构建 – 384 例乳腺癌全切片图像（WSIs）在五台商业扫描仪上数字化（如 Aperio、Hamamatsu、Leica）。所有其他变量（组织块、染色方案、患者队列）保持不变，以隔离扫描仪的影响。
2. 模型套件 – 作者挑选了 14 种公开可用的 PFMs：
   • 最近的视觉‑语言模型（如 CLIP‑based 编码器）
   • 最先进的自监督病理模型（如 SimCLR、MoCo 变体）
   • 早期的自监督模型以及在 ImageNet 上预训练的 ResNet‑50 作为自然图像基线。
3. 嵌入分析 – 对每个模型，从所有 WSIs 中提取瓦片级嵌入。通过降维（UMAP/t‑SNE）和聚类指标（Silhouette score、k‑NN purity）量化嵌入是按扫描仪还是按生物学标签聚类。
4. 监督下游任务 – 在嵌入上训练线性探针，预测临床相关结果（如 ER/PR 状态、肿瘤分级）。分别对每个扫描仪测量性能（AUC）和校准（Brier score、reliability diagrams）。
5. 统计控制 – 混合效应模型考虑了同一患者的重复测量以及潜在的残余混杂因素。

结果与发现

• 扫描仪特定的嵌入聚类： 大多数PFM产生的嵌入在不同扫描仪之间明显分离（平均Silhouette约为0.35），表明扫描仪特性主导了潜在空间。
• AUC 稳定性掩盖了校准漂移： 在不同扫描仪之间，诸如ER状态等任务的AUC变化不到2%，但校准指标显著恶化（Brier分数上升至0.12）。这意味着预测会因扫描仪而出现过度或不足的置信度。
• 与模型规模或数据量无关： 大模型（约3 × 10⁸ 参数）以及在 > 10 M 补丁上训练的模型，在扫描仪不变性方面并未优于更小、更早的模型。
• 视觉‑语言模型表现稍好： 基于 CLIP 的编码器显示出最低的扫描仪聚类程度（Silhouette ≈ 0.18），但其下游 AUC 较低（≈ 0.78 vs. ≈ 0.84 为最佳自监督模型）。
• 基线 ImageNet 模型表现最差： 它表现出最强的扫描仪偏差和最差的下游任务结果，证实自然图像预训练不足以应对病理学任务。

实际意义

• 部署注意： 临床不能假设在某一台扫描仪上验证的 PFM 在另一台上表现完全相同；隐藏的校准漂移可能导致系统性过度诊断或漏诊。
• 模型选择权衡： 仅依据基准 AUC 选择模型可能存在风险；开发者还应检查嵌入的稳定性以及在预期扫描仪群组中的校准情况。
• 需要扫描仪感知的流水线： 将扫描仪元数据作为显式协变量加入，或在嵌入提取前使用领域适应技术（例如对抗对齐、风格迁移），可以减轻偏差。
• 测试标准： 供应商和研究团队应在监管提交或开源发布时采用多扫描仪验证套件，类似放射学 AI 中的跨站点验证。
• 工具化机会： 社区可以构建开源库，自动评估嵌入漂移（如 “ScannerShift‑Check”），并提供纠正性微调建议，从而降低稳健 PFM 采用的门槛。

限制与未来工作

• 范围仅限于乳腺癌 WSIs: 虽然多扫描仪设计能够隔离扫描仪效应，但其他组织类型和染色方案可能表现出不同的敏感性。
• 固定的预处理流水线: 本研究使用了单一的切块和颜色归一化策略；其他流水线可能以不可预测的方式与扫描仪偏差相互作用。
• 未进行端到端微调: 作者评估了冻结的编码器；未来工作应探讨在小规模、扫描仪平衡的数据集上进行适度微调是否能恢复校准。
• 更广泛的采集变量: 除了扫描仪硬件外，压缩级别、文件格式和扫描速度等因素未被考察，可能会加剧观察到的偏移。

底线: 本文揭示了病理基础模型一个微妙但关键的失效模式——扫描仪引起的域迁移，这可能削弱其即插即用的承诺。现在解决此问题对于在数字病理学中安全、可扩展的 AI 部署至关重要。

作者

• Erik Thiringer
• Fredrik K. Gustafsson
• Kajsa Ledesma Eriksson
• Mattias Rantalainen

论文信息

• arXiv ID: 2601.04163v1
• 类别: eess.IV, cs.CV, cs.LG
• 发布日期: 2026年1月7日
• PDF: 下载 PDF