[Paper] MADE：用于医疗器械不良事件不确定性量化的多标签文本分类活跃基准

Source: arXiv - 2604.15203v1

请提供您希望翻译的具体文本内容，我将为您翻译成简体中文并保持原有的格式。

概述

MADE 基准针对 AI 在医疗保健领域的核心问题：自动对自由文本的医疗器械不良事件（MDAE）报告进行分类，同时告知我们模型对每个预测的置信度。通过持续摄取新发布的报告，MADE 保持“活跃”，避免了困扰旧文本分类基准的数据泄漏问题。论文不仅发布了一个具有挑战性的多标签数据集，还系统性地比较了 20 多种现代语言模型和不确定性量化（UQ）技术。

关键贡献

• 一个活跃的、时间分割的基准，基于真实世界的 MDAE 报告构建，拥有超过 1 000 个标签的长尾层次结构。
• 严格的时间划分的训练/验证/测试集，消除意外的测试集污染，模拟真实部署场景。
• 全面的基线套件：评估了超过 20 种仅编码器和仅解码器模型，在完整微调、少样本和指令微调（推理）三种模式下的表现。
• 系统化的不确定性量化评估：基于熵、基于一致性以及自我表述置信度的方法并行基准测试。
• 经验性洞察：揭示标签覆盖率（头部 vs. 尾部）、模型规模、微调方式与不确定性估计可靠性之间的权衡。
• 开源发布数据、代码和网页演示（https://hhi.fraunhofer.de/aml-demonstrator/made‑benchmark），以实现可重复性并鼓励社区扩展。

方法论

1. 数据收集与整理 – 作者抓取 FDA‑MAUDE 不良事件报告，提取自由文本叙述，并将每个报告映射到一组层次化的 MedDRA（医学监管活动词典）代码。标签分布呈经典长尾：少数常见的设备‑问题组合（“头部”）和成千上万的稀有组合（“尾部”）。
2. 活跃基准流水线 – 定时爬虫每月添加新报告，自动使用 时间截断 重新划分数据（例如，2023 年 1 月之前的所有报告用于训练，2023 年 1 月–6 月用于验证，6 月之后用于测试）。这确保模型在训练时永远不会看到未来信息。
3. 模型族 –
   • 仅编码器（BERT、RoBERTa、DeBERTa 等）在多标签输出的 sigmoid‑cross‑entropy 头上进行微调。
   • 仅解码器（GPT‑2/3、LLaMA、Falcon）微调以生成逗号分隔的标签列表。
   • 指令微调 变体（例如 Flan‑T5、Claude）在少样本模式下使用提示，要求模型“列出所有适用的不良事件代码”。
4. 不确定性量化 – 比较三类方法：
   • 熵（sigmoid 输出分布的熵，熵越高 → 不确定性越大）。
   • 一致性（在多个随机前向传播中的一致性，使用 Monte‑Carlo dropout 或集成投票）。
   • 自我表述置信度，即让模型输出置信短语（如 “我有 90 % 的把握”）。
5. 评估指标 – 标准多标签得分（micro‑F1、macro‑F1、标签级 AUC）加上 UQ 校准（期望校准误差、可靠性图）以及 覆盖率‑准确率 曲线（当仅保留低于给定不确定性阈值的预测时，准确率的变化）。

结果与发现

要点

• 微调解码器 在整体准确率上表现出色，尤其是在常见（头）标签上，同时仍能提供相当的“不确定性”估计。
• 生成式微调（训练模型输出标签列表）产生最校准良好的不确定性估计，即使原始准确率略低。
• 面向推理的 few‑shot 模型 提高了对稀有（尾）标签的召回率，但出人意料地产生了过度自信的预测，导致校准效果下降。
• 自我语言化置信度 与真实不确定性不相关；模型的自然语言置信度陈述并不是可靠的代理。

实际意义

• 监管监测流水线 可以将 MADE 训练的解码器模型接入其数据摄取工作流，自动标记新的不良事件报告，并将高不确定性案例标记为需要人工审查。
• 主动学习循环 变得可行：校准曲线显示，舍弃超过某一不确定性阈值的预测可以保留 > 85 % 的主标签准确率，同时显著降低稀有事件的误报。
• 模型选择指南 – 如果你的产品需要 对稀有设备故障的高召回率（例如早期预警安全系统），使用少量示例模式的大型推理模型可能值得额外的校准工作。对于对来报进行 稳定、良好校准的分流，微调的解码器（GPT‑2‑small/medium）是最佳选择。
• 持续基准测试 – 由于 MADE 会自动更新，组织可以随时间跟踪模型漂移，仅在最新批次性能下降时重新训练，从而节省计算和标注成本。
• 开源工具 – 已发布的评估脚本与 Hugging Face 🤗 Transformers 集成，使开发团队能够轻松地将自有专有模型与基线套件进行基准比较。

限制与未来工作

• 领域特异性 – MADE 专注于 FDA 设备报告；其向其他医学文本领域（例如临床笔记、药物警戒）的可迁移性尚未得到验证。
• 标签层次深度 – 虽然提供了层次化的 MedDRA 编码，但当前基线将其视为平坦的多标签；利用层次结构（例如层次损失）可能提升尾部性能。
• 少样本提示的可扩展性 – 大型推理模型需要昂贵的 API 调用；未来工作可以探索轻量级适配器或 LoRA 微调，以在不产生高成本的情况下保留推理优势。
• 不确定性方法 – 仅研究了熵、一致性和自我口头化置信度；贝叶斯神经网络、深度集成或测试时数据增强等仍是未探索的方向。
• 人机交互研究 – 论文仅止于定量校准；通过用户研究衡量临床医生如何与不确定性分数交互，可巩固其在真实世界的影响。

底线：MADE 为任何构建读取医疗设备安全报告的 AI 的人提供了一个真实、持续更新的实验平台。它对性能和不确定性的全面评估为开发者提供了关于选择何种模型族、如何处理罕见事件以及未来研究重点的具体指导。祝你玩得开心！

作者

• Raunak Agarwal
• Markus Wenzel
• Simon Baur
• Jonas Zimmer
• George Harvey
• Jackie Ma

论文信息

• arXiv ID: 2604.15203v1
• 类别: cs.CL
• 出版日期: 2026年4月16日
• PDF: 下载 PDF