[Paper] 面向医学的全球大型语言模型

Source: arXiv - 2601.02186v1

概览

本文介绍了 GlobMed，一个大型多语言医学数据集以及用于评估当前大型语言模型（LLM）在 12 种语言（包括四种低资源语言）上处理医学任务能力的基准套件。通过在该数据上训练新的多语言医学 LLM（GlobMed‑LLM），作者展示了显著的性能提升——尤其是在历来被 AI 研究忽视的语言上——为在全球范围内实现更公平的 AI 驱动医疗奠定了基础。

关键贡献

• GlobMed 数据集：500 k 医疗条目，覆盖 12 种语言（例如英语、西班牙语、普通话、斯瓦希里语、阿姆哈拉语）。
• GlobMed‑Bench：一个系统化基准，测试 56 种最先进的 LLM 在各种多语言医学任务（问答、诊断推理、摘要等）上的表现。
• 性能差距分析：提供了现有模型在高资源语言和低资源语言之间巨大差异的实证证据。
• GlobMed‑LLMs：一系列开源权重的多语言医学 LLM（1.7 B – 8 B 参数），在 GlobMed 上微调后，相比基线平均提升 >40 %，对低资源语言提升 >3 倍。
• 开放资源：所有数据、基准脚本和模型检查点均公开发布，以促进社区研究。

方法论

1. Data collection & cleaning – 作者从公共来源（临床指南、研究摘要、患者教育材料）汇总医学文本，并进行语言特定的预处理、去重和质量过滤。
2. Benchmark design – 定义了六类任务（例如，多项选择问答、自由形式诊断、临床笔记摘要）。针对每种语言，创建了平衡的测试集，以确保难度可比。
3. Model evaluation – 使用统一的 API 对 56 种大语言模型（包括专有 API 和开源权重模型）进行提示。评估指标包括准确率、F1、BLEU/ROUGE（生成任务）以及语言特定的错误分析。
4. Training GlobMed‑LLMs – 在现有的多语言基础模型（如 LLaMA‑2、BLOOM）上，进一步使用 GlobMed 语料进行微调，采用混合专家训练调度，对低资源语言数据进行加权。
5. Statistical analysis – 通过配对显著性检验和回归分析，分离多语言微调与模型规模的影响。

结果与发现

• 现有 LLM 在英语、普通话和西班牙语上表现良好，但在阿姆哈拉语、约鲁巴语和尼泊尔语上表现极差。
• 在 GlobMed 上进行微调可以缩小差距：低资源语言的性能提升超过三倍，而高资源语言的提升虽 modest，但仍然显著。
• 模型规模固然重要，但多语言微调策略带来的相对提升大于单纯增加参数规模。

实际意义

• 临床决策支持: 在资源匮乏地区的医院可以部署 GlobMed‑LLMs 用于分诊聊天机器人、症状检查器或本地语言的病历摘要，从而减少对仅英文工具的依赖。
• 医学教育: 可以自动生成多语言学习辅助材料和题库，支持在代表性不足语言中的课程。
• 合规监管: 通过提供透明的开源权重模型，开发者可以审计并调整模型，以符合当地的数据隐私法规（例如 GDPR、HIPAA 等等的等效法规）。
• 快速原型: 基准套件让产品团队能够快速评估现成的 LLM 是否满足目标市场的语言需求，从而避免昂贵的微调投入。
• 研究加速: 开放的数据和评估脚本降低了学术界和工业界探索多语言健康 AI 的门槛，促进竞争与创新。

限制与未来工作

• 领域覆盖: 虽然范围广泛，GlobMed 仍然主要倾向于公开可得的文献；罕见疾病病例报告和非文本数据（例如影像）代表性不足。
• 文化细微差别: 基准测试侧重于事实正确性，但未能充分捕捉文化上恰当的沟通方式，而这对面向患者的应用至关重要。
• 模型规模上限: 实验限制在 8 B 参数；扩展到 >50 B 可能会显现不同的权衡，尤其是针对高资源语言。
• 评估广度: 需要进行真实场景部署研究（例如在资源匮乏地区与临床医生的用户研究），以验证安全性和可用性。

作者计划通过增加更多语言、整合多模态医学数据来扩展 GlobMed，并发起由社区驱动的“挑战赛”，以激发下一代公平的医疗 AI。

作者

• Rui Yang
• Huitao Li
• Weihao Xuan
• Heli Qi
• Xin Li
• Kunyu Yu
• Yingjian Chen
• Rongrong Wang
• Jacques Behmoaras
• Tianxi Cai
• Bibhas Chakraborty
• Qingyu Chen
• Lionel Tim‑Ee Cheng
• Marie‑Louise Damwanza
• Chido Dzinotyiwei
• Aosong Feng
• Chuan Hong
• Yusuke Iwasawa
• Yuhe Ke
• Linah Kitala
• Taehoon Ko
• Jisan Lee
• Irene Li
• Jonathan Chong Kai Liew
• Hongfang Liu
• Lian Leng Low
• Edison Marrese‑Taylor
• Yutaka Matsuo
• Isheanesu Misi
• Yilin Ning
• Jasmine Chiat Ling Ong
• Marcus Eng Hock Ong
• Enrico Petretto
• Hossein Rouhizadeh
• Abiram Sandralegar
• Oren Schreier
• Iain Bee Huat Tan
• Patrick Tan
• Daniel Shu Wei Ting
• Junjue Wang
• Chunhua Weng
• Matthew Yu Heng Wong
• Fang Wu
• Yunze Xiao
• Xuhai Xu
• Qingcheng Zeng
• Zhuo Zheng
• Yifan Peng
• Douglas Teodoro
• Nan Liu

论文信息

• arXiv ID: 2601.02186v1
• 分类: cs.CL
• 出版日期: 2026年1月5日
• PDF: 下载 PDF