【论文】UniX：统一自回归与扩散用于胸部X光的理解与生成

Source: arXiv - 2601.11522v1

概述

本文介绍了 UniX，一种统一的基础模型，能够同时 理解 和 生成 胸部 X‑光图像。通过将关注语义的自回归 (AR) 分支与像素级扩散分支分离——随后通过跨模态自注意力让它们相互交流——UniX 在使用远少于现有大型医学模型的参数量的情况下，实现了业界领先的结果。

关键贡献

• 双分支架构：一个用于诊断理解的 AR 编码器‑解码器和一个用于高保真图像合成的扩散解码器，各自针对其目标进行优化。
• 跨模态自注意力：一种轻量级注意力模块，将 AR 分支的语义线索注入扩散过程，确保生成的图像符合临床上下文。
• 稳健的数据管道：对大型胸部 X 光语料库进行自动清洗和去重，以降低标签噪声并提升下游性能。
• 多阶段训练策略：先预训练 AR 分支，再训练扩散分支，最后联合微调，实现知识转移而不产生灾难性遗忘。
• 参数效率：在使用仅约 25 % 先前 LLM‑CXR 模型参数的情况下，达到或超越任务特定基线。

方法论

1. 数据准备 – 作者抓取多个公开的胸部 X‑光数据集，运行一系列启发式方法（例如，重复检测、报告‑图像对齐检查），并策划出干净、平衡的语料库。
2. 自回归 (AR) 分支 – 一个 Transformer 风格的编码器处理放射学报告，而解码器预测一系列视觉标记（例如，VQ‑GAN 代码）。该分支使用标准交叉熵损失进行训练，鼓励其捕获诊断语义。
3. 扩散分支 – 潜在扩散模型 (LDM) 学习从噪声潜向量重建高分辨率 X‑光图像。扩散损失为常用的去噪得分匹配目标。
4. 跨模态自注意力 – 在每个扩散时间步，潜在表示会关注 AR 隐状态。此动态条件化使生成器“倾听”理解分支，将像素细节与临床概念对齐。
5. 训练计划
   • 阶段 1：在报告‑图像对上预训练 AR。
   • 阶段 2：冻结 AR，训练扩散模型于干净图像。
   • 阶段 3：使用跨模态注意力进行联合微调，采用 AR 与扩散损失的加权和。

整个流水线使用 PyTorch 实现，可在单节点 8‑GPU（A100）上运行，得益于模块化设计。

结果与发现

• 理解：UniX 与专用的分类/报告生成模型持平或超越，表明 AR 分支不会因扩散分支的存在而受损。
• 生成：跨模态注意力产生更清晰、临床上合理的 X 光片，体现在更低的 Fréchet Distance（FD‑RadDino）。
• 效率：参数仅为四分之一，训练时间下降约 30 %，单 GPU 推理延迟保持在每张图像 200 ms 以下。

实际意义

• 快速原型 – 开发者可以快速启动一个统一的 API，既能对胸部 X‑ray 进行分类（例如，“存在肺炎”）并且 生成用于数据增强或教学的逼真反事实图像。
• 数据增强 – 基于特定发现条件生成的高质量合成 X‑ray 可以补充稀缺的标注数据集，在无需昂贵人工标注的情况下提升下游模型的性能。
• 临床决策支持 – 统一模型可以直接从放射报告生成 “假设” 可视化（例如，模拟疾病进展），帮助教学和患者沟通。
• 资源受限部署 – 由于 UniX 轻量化，它可以部署在医院的边缘服务器或云函数上，使得在 PACS 或 EMR 工作流中实现实时集成成为可能。

限制与未来工作

• 领域特定性 – UniX 仅在胸部 X 光片上进行训练；将该架构扩展到其他模态（CT、MRI）将需要特定模态的分词器和扩散先验。
• 跨模态注意力的可解释性 – 虽然注意力图似乎与临床术语对齐，但仍缺乏对其可靠性的系统性评估。
• 监管考量 – 合成医学图像可能导致无意的偏差或滥用；作者指出在临床部署前需要可靠的验证流程。
• 未来方向 建议包括 (1) 多模态条件（例如，添加患者元数据），(2) 在未标记的放射图像上进行自监督预训练，以及 (3) 与大型语言模型更紧密集成，以实现完整报告生成。

作者

• Ruiheng Zhang
• Jingfeng Yao
• Huangxuan Zhao
• Hao Yan
• Xiao He
• Lei Chen
• Zhou Wei
• Yong Luo
• Zengmao Wang
• Lefei Zhang
• Dacheng Tao
• Bo Du

论文信息

• arXiv ID: 2601.11522v1
• 分类: cs.CV
• 发布时间: 2026年1月16日
• PDF: 下载 PDF