[Paper] 跨司法辖区适配自然语言处理模型：加拿大癌症登记处的试点研究

Source: arXiv - 2601.00787v1

概述

本研究探讨了在一个加拿大省份的病理报告上训练的基于 Transformer 的自然语言处理（NLP）模型，是否能够高效地适配到另一个报告风格不同的省份。通过在少量本地数据上微调两种最先进的模型，作者展示了跨司法辖区部署是可行的，并且能够显著减少注册工作流中漏检的癌症病例数量。

关键贡献

• 首次跨省基准，针对加拿大癌症登记任务的 transformer NLP 模型。
• 适配流水线，仅使用数千份去标识化报告，对省级专用模型 (BCCRTron) 和通用生物医学模型 (GatorTron) 进行微调。
• 双任务评估：Tier 1（癌症 vs. 非癌症）和 Tier 2（可报告 vs. 不可报告）分类。
• 保守的 OR‑集成，合并两模型的预测，将召回率提升至 0.99，并将漏检癌症数量减半，相较于单模型。
• 隐私保护的共享仅限模型权重（不包含原始患者文本），为全加拿大病理学 NLP 基础模型奠定基础。

方法论

1. 数据收集 – 纽芬兰与拉布拉多癌症登记处 (NLCR) 提供约 104 k 份 Tier 1 病理报告和约 22 k 份 Tier 2 报告，全部已去标识化。
2. 模型选择 –
   • BCCRTron：一个已在不列颠哥伦比亚癌症登记数据上微调的 Transformer。
   • GatorTron：一个在 PubMed 风格文本上预训练的大型生物医学 Transformer。
3. 输入管道 – 构建了两条并行的预处理流：一条提取报告的结构化（synoptic）章节，另一条聚焦自由文本的诊断叙述。
4. 微调 – 对每个模型在 NLCR 数据上进一步训练少量 epoch（≈ 3–5），使用标准交叉熵损失并采用早停。
5. 集成 – 应用了简单的 OR 逻辑：只要 任一 模型预测为阳性，即将报告标记为癌症（或可报告）。此保守策略最大化灵敏度。
6. 评估 – 在保留的 NLCR 测试集上使用召回率、精确率和 F1 分数进行性能评估，特别关注漏诊癌症案例（假阴性）。

结果与发现

• 两个模型在仅进行适度微调后仍保持高性能，证实了在一个司法辖区预训练的 Transformer 可以在其他地区本地化使用。
• 集成模型始终优于各单独模型，尤其在召回率方面表现更佳，这对癌症监测至关重要，因为漏检病例会导致严重的后续影响。

Practical Implications

• 快速部署：卫生部门可以采用已有的 transformer（例如省级模型），仅使用几千条本地报告即可实现接近最新水平的性能，避免从头训练的需求。
• 降低人工工作量：更高的召回率意味着更少的病例会漏到人工复审环节，使登记工作人员能够专注于边缘案例，而不是重新检查显而易见的癌症。
• 省际协作：仅共享模型权重即可遵守隐私法规，同时实现共享的 NLP 基础设施，可能推动形成用于病理提取的国家级基础模型。
• 集成模式：保守的 OR‑ensemble 是一种低成本、高影响的技术，可应用于任何多模型设置，特别是在漏检正例代价高昂的场景。
• 集成接口：双管道（synoptic + diagnosis）设计能够干净地映射到医院信息系统现有的 ETL 工作流，为开发者提供了直接的集成路径。

限制与未来工作

• 数据多样性：本研究聚焦于两个省份；在报告格式更为异构的其他司法辖区可能会出现本研究未捕获的边缘案例。
• 模型规模与延迟：大型生物医学 transformer 计算成本高；未来工作应探索蒸馏或量化，以实现实时部署。
• 可解释性：虽然召回率有所提升，论文并未深入探讨模型可解释性，而这对临床信任至关重要。
• 全加拿大基础模型：作者提出共享模型的设想，但尚未在该规模上进行训练；未来研究需要解决联邦学习或安全多方计算，以真正实现跨省数据的统一。

作者

• Jonathan Simkin
• Lovedeep Gondara
• Zeeshan Rizvi
• Gregory Doyle
• Jeff Dowden
• Dan Bond
• Desmond Martin
• Raymond Ng

论文信息

• arXiv ID: 2601.00787v1
• 分类: cs.CL
• 发表时间: 2026年1月2日
• PDF: 下载 PDF