[Paper] 基于 Skewness-Guided 剪枝的 Multimodal Swin Transformers 在联邦皮肤病变分类中的边缘设备应用

Source: arXiv - 2512.08751v1

概览

一项新研究同时聚焦 AI 驱动的医疗保健中的两个热点议题：隐私保护的联邦学习和面向边缘设备的模型压缩。作者通过为多模态 Swin Transformer 引入一种偏度引导剪枝技术，展示了皮肤病变分类器可以在不牺牲诊断准确性的前提下缩小超过三分之一，为尊重患者数据机密性的设备端皮肤科助理打开了可能性。

关键贡献

• 基于偏度的剪枝准则：利用注意力层和 MLP 层输出的统计偏度来决定哪些 heads/神经元被裁剪，这是一种新颖的数据驱动 Transformer 剪枝方式。
• 多模态 Swin Transformer 适配：将 Swin 架构扩展至融合皮肤图像与辅助临床元数据（如患者年龄、病变部位）。
• 联邦学习集成：在水平联邦学习（FL）设置中实现剪枝流水线，使医院或诊所能够在保持原始图像本地的情况下协同训练共享模型。
• 面向边缘的压缩：在紧凑的 Swin 变体上实现约 36 % 的模型体积（以及相应 FLOPs）下降，分类准确率无可测量的下降，在标准皮肤病变基准上表现一致。
• 全面评估：提供消融实验，将偏度引导剪枝与基于幅值的剪枝和随机剪枝进行比较，展示出更优的折中效果。

方法论

1. 基础架构 – 紧凑的 Swin Transformer 处理皮肤镜检图像；并行的 MLP 读取患者级元数据。两条流在最终分类器前合并。
2. 收集激活统计 – 在若干联邦轮次后，每个客户端记录每个多头自注意力（MHSA）head 和每个 MLP 神经元在验证批次上的输出分布。
3. 计算偏度 – 对每个分布计算三阶标准化矩（偏度）。偏度绝对值低的 heads/神经元被视为信息量较少（其输出近乎对称，辨别力弱）。
4. 剪枝决策 – 按全局剪枝预算（例如 30 % 的 heads、20 % 的 MLP 单元）分配给偏度最低的组件。其余子网络重新初始化并在本地微调。
5. 联邦训练循环 – 标准 FedAvg 聚合所有客户端的剪枝子模型。由于剪枝掩码在参与者之间保持一致，模型兼容性得以保留。
6. 边缘部署 – 将最终压缩模型导出为 ONNX/TFLite，以在智能手机或专用医疗边缘硬件上推理。

结果与发现

• 无精度损失：AUROC 在统计上保持不变，尽管模型体积大幅削减。
• 优于基线：随机剪枝导致 AUROC 下降 2–3 %；基于幅值的剪枝在性能下降前仅能削减约 20 % 参数。
• 收敛稳定：剪枝模型的联邦训练曲线在约 10 轮通信后与未剪枝模型相匹配。

实际意义

• 设备端皮肤科助理：诊所可在智能手机或低功耗边缘网关上运行高性能皮肤病变分类器，实现无需网络的实时分流。
• 降低带宽与存储：更小的模型检查点意味着 OTA 更新更快，远程医务人员的数据流量成本更低。
• 隐私优先的协作：医院可以在不移动患者图像的前提下共同提升 AI，符合 GDPR/HIPAA 等合规要求。
• 通用方案：偏度引导剪枝框架可嵌入其他基于 Transformer 的视觉模型（如 ViT、DeiT）以及其他模态（如放射学、病理学）。

局限性与未来工作

• 偏度稳定性：该指标在有限的验证集上计算，噪声估计可能在高度异构的数据环境中导致次优剪枝。
• 静态剪枝掩码：掩码一旦设定，在后续训练中保持不变。自适应或迭代剪枝或能捕捉特征重要性的演变。
• 边缘硬件差异：研究仅在单一 ARM 平台上评估推理；在超低功耗微控制器上的表现尚未验证。
• 更广泛的临床验证：实验局限于公开 ISIC 数据集；需要在多中心临床数据上进行前瞻性试验，以确认真实世界的鲁棒性。

结论：通过将巧妙的统计剪枝规则与联邦学习相结合，本文展示了最先进的多模态 Transformer 可以被压缩至足以在边缘部署且仍然保护患者隐私——这是一条通往现场 AI 增强皮肤科的有前景路径。

作者

• Kuniko Paxton
• Koorosh Aslansefat
• Dhavalkumar Thakker
• Yiannis Papadopoulos

论文信息

• arXiv ID: 2512.08751v1
• 分类: cs.CV, cs.DC
• 发布日期: 2025 年 12 月 9 日
• PDF: Download PDF