[Paper] 通过 Diffusion-Based Domain Adaptation 缩小细胞计数中的 Domain Gap

Source: arXiv - 2512.11763v1

概述

合成显微镜图像是一种廉价的方式来为细胞计数等任务训练深度学习模型，但计算机生成的图像与真实显微镜数据之间的视觉差距往往限制了性能。本文将基于扩散的风格迁移框架（Inversion‑Based Style Transfer，InST）进行改造，以弥合这一差距，将平淡的合成图像转化为仍保留细胞布局的逼真样本。结果表明：在这些“风格化”图像上预训练的模型，其计数误差显著低于使用传统合成数据甚至仅使用真实数据训练的模型。

主要贡献

• 跨域显微镜风格迁移 – 将最初用于艺术风格迁移的 InST 框架重新用于向合成细胞图像注入真实的荧光纹理。
• 潜在空间自适应实例归一化 (AdaIN) + 随机扩散逆向 – 这一新颖组合在随机化视觉外观的同时保留细胞几何结构。
• 广泛基准测试 – 在三类数据源（硬编码合成、Cell200‑s、InST 风格化合成）上预训练 EfficientNet‑B0 并在真实数据上微调，显示相较于硬编码合成可降低 37 % MAE，相较于 Cell200‑s 可降低 52 %。
• 与轻量级领域适应技巧的协同 – 在 InST 风格化数据上再加入 DACS + CutMix 可进一步提升性能，证明该方法能够与现有适应流水线互补，而非替代。
• 开源发布 – 完整代码、预训练模型和数据生成脚本均已公开，便于立即复现。

方法论

1. 合成基底生成 – 从传统细胞仿真流水线出发，得到干净的二值掩码及对应的灰度图（无真实纹理）。
2. 风格源收集 – 收集少量真实荧光显微镜帧（无需标注）。
3. 扩散模型逆向 – 将每幅合成图像输入预训练的扩散模型，进行随机逆向映射至模型的潜在空间。
4. 潜在空间 AdaIN – 计算真实风格潜在码的通道均值/方差统计，并将自适应实例归一化应用于合成潜在码，实现纹理统计的交换，同时保持空间结构。
5. 再生成 – 运行扩散解码器合成新图像，使其拥有真实风格纹理但保留原始细胞布局。
6. 训练流水线 – 在风格化合成集合上预训练 EfficientNet‑B0，随后在少量真实标注子集上微调。微调阶段可选加入 DACS（领域感知对比损失）和 CutMix 增强。

整个流程在单张 GPU 上即可在数小时内完成，适合算力有限的实验室使用。

结果与发现

• 相较于基线合成流水线，MAE 降低 37 %。
• 相较于公开的 Cell200‑s 数据集，MAE 降低 52 %，使原本表现不佳的合成来源成为最佳的预训练材料。
• 即使真实数据基线已经很强，InST 风格化数据仍 优于其（25.9 vs. 27.7 MAE）。
• 在 InST 基础上加入轻量级领域适应（DACS + CutMix）进一步提升性能，表明该方法 兼容 现有技巧，而非取代。

实际意义

• 降低标注成本 – 实验室只需少量未标注的真实帧即可生成数千张逼真的训练图像，大幅削减人工计数的需求。
• 加速模型迭代 – 在风格化合成数据上预训练可获得强初始化，因而在少量真实数据上微调时收敛更快，节省算力。
• 即插即用于其他显微镜任务 – 同一 InST 流程可复用于分割、表型分类或药物响应预测等对纹理真实性有要求的任务。
• 边缘设备就绪 – 下游模型（EfficientNet‑B0）足够轻量，可部署在嵌入式系统（如仪器内部分析模块），而合成数据生成可离线完成。
• 开源工具包 – 开发者可将提供的脚本集成到 CI 流水线中，随新真实样本的出现自动刷新合成数据集。

局限性与未来工作

• 依赖扩散模型 – 风格迁移质量受预训练扩散骨干的影响；训练专属领域的扩散模型或许能提升效果，但会增加额外开销。
• 内容保留不完全 – 虽然细胞布局大体保留，但在逆向过程中极端形态变化（如重叠簇）有时会被平滑。
• 评估仅限于一种计数架构（EfficientNet‑B0）；在 transformer‑based 或以分割为主的模型上进行更广泛测试可进一步验证通用性。
• 向 3‑D 显微镜的可扩展性 – 当前流水线仅适用于 2‑D 切片，扩展到体数据需使用 3‑D 扩散模型并采用内存高效的逆向策略。

未来的研究方向包括：训练任务特定的扩散模型、探索多风格条件（如不同染色方案）以及结合自监督预训练以进一步降低对任何标注真实数据的依赖。

作者

• Mohammad Dehghanmanshadi
• Wallapak Tavanapong

论文信息

• arXiv ID: 2512.11763v1
• 分类: cs.CV
• 发布日期: 2025 年 12 月 12 日
• PDF: Download PDF