[Paper] MedTri：用于结构化医学报告标准化以提升视觉-语言预训练的平台

Source: arXiv - 2602.22143v1

概述

本文介绍了 MedTri，一个即插即用的框架，可将自由形式的放射学报告转换为干净、结构化的格式——一个由 [Anatomical Entity : Radiologic Description + Diagnosis Category] 组成的三元组。通过去除风格化的怪癖和无关文本，MedTri 为视觉‑语言模型提供一致的、基于图像的监督，从而在 X‑ray 和 CT 数据集上显著提升预训练性能。

关键贡献

• 统一三元组表示 – 将多样的医学报告标准化为单一、以解剖结构为中心的模式，保留形态学和空间线索。
• 开源 MedTri 平台 – 端到端流水线（解析 → 实体链接 → 三元组生成），可直接嵌入现有视觉‑语言预训练工作流。
• 实证验证 – 系统实验表明结构化三元组在多个下游任务（例如疾病分类、报告生成）上优于原始报告和先前的标准化基线。
• 模块化增强钩子 – 展示三元组格式如何支持插件式文本层增强，如知识丰富（添加本体事实）和基于解剖的反事实，提升鲁棒性且无需更改核心标准化器。
• 跨模态适用性 – 在胸部 X 光和腹部 CT 语料库上进行评估，证明该方法可在不同成像模态间实现泛化。

方法论

1. 报告解析 – 轻量级的 NLP 前端（句子分割 + 词性标注）用于定位候选的解剖学提及。

2. 实体链接 – 使用预训练的医学本体（如 RadLex、SNOMED CT）将每个提及映射到规范的解剖实体（例如 “right lower lobe” → “右下叶”）。

3. 描述提取 – 基于规则 + 基于 Transformer 的分类器提取直接关联于已链接解剖部位的放射学描述（例如 “consolidation”、 “ground‑glass opacity”）。

4. 诊断分类 – 经过微调的 BERT 模型从报告其余上下文中预测高级诊断标签（例如 “pneumonia”、 “fracture”）。

5. 三元组组装 – 将上述三个组成部分拼接为最终的规范化字符串：

   [Right Lower Lobe: Consolidation + Pneumonia]

6. 与视觉‑语言预训练的集成 – 将这些三元组替代原始报告，作为对比或生成式预训练目标的文本输入（例如 CLIP‑style 图像‑文本对齐）。

该流水线刻意保持模块化：每个阶段都可以替换为更高级的模型，但默认配置已能在大多数研究和生产环境中直接使用。

结果与发现

• 在分类和报告生成任务上均实现了一致的提升，验证了解剖学驱动的归一化能够提供更高质量的监督。
• 消融实验表明，去除解剖实体或诊断类别中的任意一项都会导致性能下降，凸显完整三元组的重要性。
• 增强实验（知识丰富 + 反事实解剖交换）在 MedTri 基线之上额外提升了 1–2 % 的性能，展示了该格式的可扩展性。

实际意义

• Faster model convergence – 更干净、统一的文本降低了视觉‑语言模型必须忽略的噪声，从而减少预训练轮数和计算成本。
• Better downstream transfer – 使用 MedTri 三元组预训练的模型更容易适应专业任务（例如罕见疾病检测），因为文本信号与解剖区域紧密关联。
• Plug‑and‑play for developers – 开源的 MedTri 库可以通过一次函数调用集成到现有流水线（PyTorch、TensorFlow），无需手动编写正则表达式或自定义本体。
• Facilitates compliance & auditing – 结构化的三元组更容易映射到监管词汇表，有助于临床 AI 产品的可追溯性和可解释性。
• Enables advanced data augmentation – 开发者可以程序化生成反事实报告（例如 “左肺：清晰 + 无肺炎”），对模型进行压力测试，以提升其对标签噪声或偏差的鲁棒性。

限制与未来工作

• 本体依赖 – 当前的实体链接器依赖于固定的解剖学术语集合；扩展到不常见的解剖部位或新兴的成像模式可能需要额外的人工整理。
• 规则密集的描述抽取 – 虽然效果显著，但基于规则的组件可能遗漏细微的表述；未来工作可以用在更大标注语料上训练的端到端神经解析器来取代它。
• 对多模态报告的可扩展性 – 本研究聚焦于单图像报告；处理多图像序列（例如完整的 CT 扫描）将需要更丰富的空间关联。
• 临床验证 – 论文报告了基准性能提升，但真实环境的部署研究（如放射科医生工作流集成）仍待开展。

作者计划扩大 MedTri 本体的覆盖范围，探索层级三元组结构（器官 → 子结构），并开放一个基准平台供社区驱动的评估使用。

作者

• Yuetan Chu
• Xinhua Ma
• Xinran Jin
• Gongning Luo
• Xin Gao

论文信息

• arXiv ID: 2602.22143v1
• 类别: cs.CV
• 出版时间: 2026年2月25日
• PDF: 下载 PDF