[Paper] MedForget:层次感知多模态遗忘测试平台用于医学 AI
发布: (2025年12月11日 GMT+8 01:55)
8 min read
原文: arXiv
Source: arXiv - 2512.09867v1
概览
论文 MedForget 解决了一个对处理医学数据的 AI 系统至关重要的问题:如何在保持模型有用性的前提下选择性地擦除特定患者记录的影响。作者通过构建一个层级感知的多模态消除基准,为研究人员和工程师提供了一个具体的实验平台,用于测试医学 AI 中的“被遗忘权”合规性。
主要贡献
- 层级感知基准 – 将大型医院数据集组织为四层树结构(机构 → 患者 → 研究 → 部分),并定义了跨层级的八个细粒度“忘记”目标。
- 多模态测试集 – 3 840 条实例,结合放射学图像、自然语言问题和答案,覆盖生成、分类和填空任务。
- 显式保留/忘记划分 – 每个基准实例都标记为保留或删除,并提供改写变体以实现稳健评估。
- 全面评估 SOTA 消除方法 – 对四种最新算法在三个下游任务上的表现进行基准测试,揭示系统性的权衡。
- 重构攻击框架 – 一种新颖的探测技术,逐步向提示中加入层级上下文,以暴露消除后残留的记忆。
- 开源、符合 HIPAA 的测试平台 – 所有数据和代码均在宽松许可证下发布,可直接集成到合规流水线中。
方法论
- 数据建模 – 作者将医学语料视为嵌套层级。每个节点(例如某个患者)都可以被标记为忘记,而其祖先或兄弟节点可以保留。
- 任务设计 – 在同一多模态骨干网络上构建了三个代表性下游任务:
- 生成:在给定图像和问题的情况下生成放射学报告片段。
- 分类:根据图像‑问题对预测诊断标签。
- 填空:在临床叙述中填补被遮蔽的词元。
- 消除流程 – 四种最先进的消除算法(基于梯度的数据删除、影响函数剪枝、基于知识蒸馏的忘记、参数回放)被应用于预训练的多模态大语言模型。每种方法均使用相同的保留/忘记划分进行实验。
- 评估指标 –
- 忘记成功度 – 通过模型在被忘记项目上的置信度下降以及重构攻击得分来衡量。
- 实用性保留度 – 标准任务性能(生成任务的 BLEU/ROUGE,分类任务的准确率/F1,填空任务的精确匹配)。
- 重构攻击 – 攻击者从一个通用提示出发,逐步追加层级线索(如“医院 X,患者 Y”),检查模型是否能够恢复原本被忘记的答案。该过程量化了剩余的层级路径信息量。
结果与发现
| 消除方法 | 粗粒度忘记 | 细粒度忘记 | 实用性下降(平均) |
|---|---|---|---|
| 基于梯度 | 92 % ↓ | 68 % ↓ | –3 % |
| 影响函数 | 88 % ↓ | 61 % ↓ | –5 % |
| 蒸馏 | 90 % ↓ | 70 % ↓ | –2 % |
| 参数回放 | 85 % ↓ | 55 % ↓ | –4 % |
- 粗粒度忘记(例如整个机构)相对容易:模型对重构攻击表现出高度抵抗。
- 细粒度忘记(例如单个研究章节)会留下明显泄漏;仅在加入少量层级线索后,重构攻击即可恢复隐藏答案。
- 整体来看,实现完全忘记不可避免地会损害下游性能,尤其是在最细粒度目标上。
- 目前没有任何方法在最细层级上同时达到 >90 % 的忘记率且 <2 % 的实用性损失,凸显了未来研究的空白。
实际意义
- 合规流水线 – MedForget 为工程师提供了即插即用的“隐私审计”套件,以验证医学 AI 模型能够按需删除患者特定数据,这是 HIPAA/GDPR 合规的前提。
- 模型生命周期管理 – 组织可以在患者撤回同意后定期运行消除任务,并即时衡量对诊断准确性的影响。
- 风险评估工具 – 重构攻击可集成到 CI/CD 测试中,在模型发布前标记残留记忆。
- 层级数据存储设计 – 基准展示了将医学档案显式构建为层级结构能够实现更精确的忘记,鼓励开发者在生产系统中采用类似模式。
- API 提供者指南 – 提供多模态医学模型的云 AI 服务可以开放“忘记”端点,内部调用已测试的消除算法,为医院提供合规的服务层。
局限性与未来工作
- 数据集范围 – MedForget 侧重于放射学图像及其文本,未覆盖其他模态(如病理切片、基因组学)。
- 规模 – 实验基于单个多模态大语言模型(≈1 B 参数),在更大基础模型上可能呈现不同的忘记动态。
- 攻击真实性 – 重构攻击假设攻击者能够使用层级线索查询模型;真实世界的攻击者可能权限更受限。
- 方法多样性 – 仅评估了四种消除算法,更新的技术(如基于持续学习的忘记、差分隐私训练)仍待基准。
- 实用性‑忘记权衡 – 论文指出了两者之间的张力,但未提出系统化的平衡方案;未来工作可探索自适应忘记预算或层级正则化,以在保留诊断知识的同时擦除患者级别痕迹。
MedForget 弥合了前沿多模态 AI 与医疗行业法律义务之间的关键鸿沟,为开发真正具备“被遗忘权”的医学系统提供了具体、开源的框架。
作者
- Fengli Wu
- Vaidehi Patil
- Jaehong Yoon
- Yue Zhang
- Mohit Bansal
论文信息
- arXiv ID: 2512.09867v1
- 分类: cs.CV, cs.AI, cs.CL
- 发表时间: 2025 年 12 月 10 日
- PDF: Download PDF