[Paper] 优化医学问答系统：微调与零样本大语言模型在 RAG 框架下的比较研究

Source: arXiv - 2512.05863v1

概览

本文研究了如何通过将开源大语言模型（LLM）与检索增强生成（RAG）流水线相结合，使医学问答（QA）系统既准确又可信。作者使用低秩适配（LoRA）对 LLaMA 2 和 Falcon 进行微调，并将其回答基于检索到的 PubMed 文献进行 grounding，从而在相同模型的零样本使用情况下实现了事实正确性的显著提升。

关键贡献

• 基于 RAG 的架构：将领域特定文档检索与开源 LLM 结合，用于生物医学 QA。
• 高效微调：通过 LoRA 对 LLaMA 2 和 Falcon 进行微调，实现快速领域适配，无需完整模型再训练。
• 实证基准：在 PubMedQA 和 MedMCQA 上展示了 16 分的准确率提升（71.8 % 对比 55.4 % 零样本）以及约 60 % 的幻觉内容下降。
• 透明层：自动为每个生成的答案附加来源引用，提高临床医生的可审计性。
• 开源可复现套件（代码、LoRA 权重和检索索引）已向社区发布。

方法论

1. 文档语料库构建 – 作者使用密集嵌入（Sentence‑Transformers）和向量数据库（FAISS）构建了约 2 百万篇 PubMed 摘要和全文文章的可检索索引。
2. 检索步骤 – 对于任意用户查询，基于余弦相似度检索出 top‑k（k = 5）最相关的段落。
3. 提示工程 – 将检索到的段落与系统提示拼接，指示 LLM 引用来源并简洁作答。
4. 模型微调 – 在 10 千条医学 QA 对（来源于 PubMedQA、MedMCQA 以及人工验证的示例）上训练 LoRA 适配器（秩 = 8）。这仅增加约 0.1 % 的额外参数，保持计算成本低。
5. 生成与后处理 – LLM 生成答案后，轻量级验证器检查每个陈述是否至少关联到一个检索段落，标记不支持的语句。

该流水线模块化，任何兼容的 LLM 都可以在不重新构建检索索引的情况下替换使用。

结果与发现

• 仅加入检索即可提升 7–8 个百分点的性能。
• 使用 LoRA 微调再额外提升约 8 个百分点，超越许多闭源专有基线。
• 具备引用感知的验证器将不支持的陈述从约 30 % 的生成 token 降至低于 12 %。

实际意义

• 面向开发者的工具包 – 模块化的 RAG 堆栈（FAISS + Sentence‑Transformers + LoRA‑enabled LLM）可直接嵌入现有健康科技平台（如远程分诊机器人、EHR 决策支持）。
• 成本效益的专业化 – LoRA 微调可在单块 24 GB GPU 上于 4 小时内完成，使初创企业在没有大规模算力预算的情况下也能实现领域适配。
• 合规友好 – 自动来源归属满足日益增长的医疗 AI 透明度要求，为 FDA 或 EMA 的审计轨迹提供便利。
• 可扩展至其他领域 – 同样的模式（检索 + 轻量适配器）可复用于法律、金融或科学 QA，降低对大规模领域特定语料库的需求。

局限性与未来工作

• 语料新鲜度 – 检索索引是静态的；新出现的医学文献（如 COVID‑19 研究）需要定期重新索引。
• 答案深度 – 虽然事实准确性提升，但系统仍在多步推理或细微临床判断方面表现不足。
• 评估范围 – 基准聚焦于多项选择题；真实对话场景（后续提问、模糊表述）尚未测试。
• 未来方向：作者提出将集成实时 PubMed API 实现即时更新，探索链式思考提示以提升推理能力，并扩展验证器以标记检索来源中的潜在偏见。

作者

• Tasnimul Hassan
• Md Faisal Karim
• Haziq Jeelani
• Elham Behnam
• Robert Green
• Fayeq Jeelani Syed

论文信息

• arXiv ID: 2512.05863v1
• 分类: cs.CL, cs.AI
• 发布日期: 2025 年 12 月 5 日
• PDF: Download PDF