[Paper] MedForget:层次感知多模态遗忘测试平台用于医学 AI

发布: (2025年12月11日 GMT+8 01:55)
8 min read
原文: arXiv

Source: arXiv - 2512.09867v1

概览

论文 MedForget 解决了一个对处理医学数据的 AI 系统至关重要的问题:如何在保持模型有用性的前提下选择性地擦除特定患者记录的影响。作者通过构建一个层级感知的多模态消除基准,为研究人员和工程师提供了一个具体的实验平台,用于测试医学 AI 中的“被遗忘权”合规性。

主要贡献

  • 层级感知基准 – 将大型医院数据集组织为四层树结构(机构 → 患者 → 研究 → 部分),并定义了跨层级的八个细粒度“忘记”目标。
  • 多模态测试集 – 3 840 条实例,结合放射学图像、自然语言问题和答案,覆盖生成、分类和填空任务。
  • 显式保留/忘记划分 – 每个基准实例都标记为保留删除,并提供改写变体以实现稳健评估。
  • 全面评估 SOTA 消除方法 – 对四种最新算法在三个下游任务上的表现进行基准测试,揭示系统性的权衡。
  • 重构攻击框架 – 一种新颖的探测技术,逐步向提示中加入层级上下文,以暴露消除后残留的记忆。
  • 开源、符合 HIPAA 的测试平台 – 所有数据和代码均在宽松许可证下发布,可直接集成到合规流水线中。

方法论

  1. 数据建模 – 作者将医学语料视为嵌套层级。每个节点(例如某个患者)都可以被标记为忘记,而其祖先或兄弟节点可以保留。
  2. 任务设计 – 在同一多模态骨干网络上构建了三个代表性下游任务:
    • 生成:在给定图像和问题的情况下生成放射学报告片段。
    • 分类:根据图像‑问题对预测诊断标签。
    • 填空:在临床叙述中填补被遮蔽的词元。
  3. 消除流程 – 四种最先进的消除算法(基于梯度的数据删除、影响函数剪枝、基于知识蒸馏的忘记、参数回放)被应用于预训练的多模态大语言模型。每种方法均使用相同的保留/忘记划分进行实验。
  4. 评估指标
    • 忘记成功度 – 通过模型在被忘记项目上的置信度下降以及重构攻击得分来衡量。
    • 实用性保留度 – 标准任务性能(生成任务的 BLEU/ROUGE,分类任务的准确率/F1,填空任务的精确匹配)。
  5. 重构攻击 – 攻击者从一个通用提示出发,逐步追加层级线索(如“医院 X,患者 Y”),检查模型是否能够恢复原本被忘记的答案。该过程量化了剩余的层级路径信息量。

结果与发现

消除方法粗粒度忘记细粒度忘记实用性下降(平均)
基于梯度92 % ↓68 % ↓–3 %
影响函数88 % ↓61 % ↓–5 %
蒸馏90 % ↓70 % ↓–2 %
参数回放85 % ↓55 % ↓–4 %
  • 粗粒度忘记(例如整个机构)相对容易:模型对重构攻击表现出高度抵抗。
  • 细粒度忘记(例如单个研究章节)会留下明显泄漏;仅在加入少量层级线索后,重构攻击即可恢复隐藏答案。
  • 整体来看,实现完全忘记不可避免地会损害下游性能,尤其是在最细粒度目标上。
  • 目前没有任何方法在最细层级上同时达到 >90 % 的忘记率且 <2 % 的实用性损失,凸显了未来研究的空白。

实际意义

  • 合规流水线 – MedForget 为工程师提供了即插即用的“隐私审计”套件,以验证医学 AI 模型能够按需删除患者特定数据,这是 HIPAA/GDPR 合规的前提。
  • 模型生命周期管理 – 组织可以在患者撤回同意后定期运行消除任务,并即时衡量对诊断准确性的影响。
  • 风险评估工具 – 重构攻击可集成到 CI/CD 测试中,在模型发布前标记残留记忆。
  • 层级数据存储设计 – 基准展示了将医学档案显式构建为层级结构能够实现更精确的忘记,鼓励开发者在生产系统中采用类似模式。
  • API 提供者指南 – 提供多模态医学模型的云 AI 服务可以开放“忘记”端点,内部调用已测试的消除算法,为医院提供合规的服务层。

局限性与未来工作

  • 数据集范围 – MedForget 侧重于放射学图像及其文本,未覆盖其他模态(如病理切片、基因组学)。
  • 规模 – 实验基于单个多模态大语言模型(≈1 B 参数),在更大基础模型上可能呈现不同的忘记动态。
  • 攻击真实性 – 重构攻击假设攻击者能够使用层级线索查询模型;真实世界的攻击者可能权限更受限。
  • 方法多样性 – 仅评估了四种消除算法,更新的技术(如基于持续学习的忘记、差分隐私训练)仍待基准。
  • 实用性‑忘记权衡 – 论文指出了两者之间的张力,但未提出系统化的平衡方案;未来工作可探索自适应忘记预算或层级正则化,以在保留诊断知识的同时擦除患者级别痕迹。

MedForget 弥合了前沿多模态 AI 与医疗行业法律义务之间的关键鸿沟,为开发真正具备“被遗忘权”的医学系统提供了具体、开源的框架。

作者

  • Fengli Wu
  • Vaidehi Patil
  • Jaehong Yoon
  • Yue Zhang
  • Mohit Bansal

论文信息

  • arXiv ID: 2512.09867v1
  • 分类: cs.CV, cs.AI, cs.CL
  • 发表时间: 2025 年 12 月 10 日
  • PDF: Download PDF
Back to Blog

相关文章

阅读更多 »