[Paper] 挑选合适的专家：基于 Attentive Neural Process 的任务专用模型选择，作为代理式医疗系统的工具

Source: arXiv - 2602.14901v1

概览

本文介绍了 ToolSelect，一个基于学习的系统，使 AI “代理” 能够为给定的临床查询挑选最合适的专科模型（或“工具”）。通过将模型选择视为一个学习任务，并利用注意力神经过程（Attentive Neural Process），作者展示了如何自动将每个请求路由到表现最佳的专科模型——这对于必须处理诊断、图像定位、报告生成以及视觉问答等多任务的复杂医疗 AI 至关重要。

关键贡献

• ToolSelect 框架：一种新颖的选择器，基于输入查询和每个候选模型的简明行为摘要进行条件化，使用注意力神经过程预测最优工具。
• 一致的代理损失：对人口风险最小化目标的表述，近似真实任务条件选择损失，实现稳定训练。
• 首个具备代理能力的胸部 X 光测试平台：一个包含 55 种异构专科模型（疾病检测、报告生成、视觉定位、视觉问答）的综合环境。
• ToolSelectBench：一个包含 1,448 条真实临床查询的基准，覆盖四个任务族，并提供真实的“最佳工具”标签。
• 实证优势：ToolSelect 在所有任务上优于十种最先进的基线（包括集成方法、元学习者和强化学习选择器）。

方法论

1. 工具池与摘要：每个专用模型在特定任务上进行预训练（例如，检测肺炎、生成放射学报告）。对于每个模型，计算一个轻量级的“行为摘要”——包括置信度分布、在相似输入上的过去表现以及特征嵌入等统计信息。
2. 注意力神经过程 (ANP) 选择器：
   • 上下文：查询（例如，胸部 X‑光图像加文本提示）使用 CNN‑+‑Transformer 主干进行编码。
   • 目标：模型摘要集合充当目标点。
   • 注意力：ANP 根据查询对最相关的摘要进行关注，生成工具的分布。
3. 训练目标：选择器的训练目标是最小化一个代理损失，该损失近似于若使用所选工具时的期望任务损失。该代理是一致的——优化它可证明会将选择器引导至真实的最优工具选择策略。
4. 评估流程：在新的胸部 X‑光环境中，每个查询首先通过 ToolSelect，选择一个工具；随后对所选工具的输出与真实答案进行评分。

结果与发现

• ToolSelect 在所有任务类别中始终比最强基线高出 6–9 个百分点。
• 消融实验表明，去除注意力机制或行为摘要会导致性能下降约 4 个百分点，验证了它们的重要性。
• 选择器保持轻量（≈ 2 M 参数），每次查询额外增加的延迟不足 15 ms，因而适用于实时临床流水线。

实际影响

• 动态工具编排：医疗 AI 平台现在可以自动将每个请求委派给在该特定案例中经验上表现最佳的模型，从而在无需人工管理模型的情况下提升诊断准确性。
• 可扩展的多任务系统：随着新的专科模型（例如针对新发疾病的模型）加入，ToolSelect 只需生成它们的摘要即可纳入，无需对整个系统进行再训练。
• 降低推理成本：通过选择单一最优工具而不是运行所有模型的集合，计算负载和云费用显著下降。
• 合规监管：透明的选择逻辑（对模型摘要的注意力权重）可以记录为审计日志，帮助满足医疗 AI 治理标准。
• 开发者工作流：工程师可以将任何 PyTorch/TensorFlow 模型接入池中，暴露其摘要 API，即可立即受益于选择器，加速代理健康助理的原型开发。

限制与未来工作

• 依赖摘要质量：选择器的性能取决于信息丰富的行为摘要；若摘要校准不佳，可能误导注意力机制。
• 静态池假设：当前设置假设在训练期间使用固定的专家模型集合；真正在线添加/移除工具仍是一个未解决的挑战。
• 领域特异性：基准测试仅限于胸部 X‑光任务；扩展到其他成像模态（CT、MRI）或非视觉数据（EHR 笔记）将检验其通用性。
• 可解释性：虽然注意力权重提供了一定的洞察，但仍需更深入地解释为何选择特定工具，以满足高风险临床决策的需求。

总体而言，ToolSelect 提供了一种实用、数据驱动的解决方案，用于在自主医疗系统中协调异构 AI 专家，为更可靠、高效的临床 AI 助手铺平道路。

作者

• Pramit Saha
• Joshua Strong
• Mohammad Alsharid
• Divyanshu Mishra
• J. Alison Noble

论文信息

• arXiv ID: 2602.14901v1
• 分类: cs.LG, cs.AI, cs.CV, cs.MA
• 出版日期: 2026年2月16日
• PDF: Download PDF