[Paper] 面向边缘的隐私增强 Vision Transformers 分布式框架

Source: arXiv - 2512.09309v1

概览

本文提出了一种 分布式层次化卸载框架，使得 Vision Transformers（ViT）能够在边缘设备上运行，同时保持视觉数据的私密性。通过将图像切片并将各片段发送到不同的云服务器——没有任何服务器能够看到完整图像——该方法在不牺牲分割等任务精度的前提下实现了隐私保护。

关键贡献

• 隐私即设计的卸载： 保证没有单个云服务器能够重建原始图像。
• 层次化边缘编排： 受信任的边缘设备（手机、Jetson 等）负责数据划分、分发协调，并在本地完成最终聚合。
• 适配 Vision Transformers： 在 Segment Anything Model（SAM）上演示了该框架，SAM 是最先进的基于 ViT 的分割工具。
• 接近基线性能： 实验证明分割质量与单体云推理流水线相比几乎没有变化。
• 可扩展架构： 支持任意数量的云节点，适用于多样化的边缘‑云部署场景。

方法论

1. 边缘侧划分 – 用户设备提取输入图像，将其划分为 N 个不重叠的补丁，并使用轻量对称密钥对每个补丁进行加密。
2. 分布式推理 – 每个补丁被发送到独立的云服务器，在该服务器上执行 部分 ViT 前向传播（例如早期的 Transformer 层）。由于每个服务器仅看到图像碎片，无法重建完整场景。
3. 本地聚合 – 边缘设备收集中间特征图，根据原始空间布局将其合并，并运行剩余的 Transformer 层以及任务特定的头部（例如 SAM 的掩码解码器）。
4. 隐私保证 – 系统基于两个事实：(a) 边缘设备是受信任的，(b) 云服务器 不共谋（不共享数据）。作者还讨论了可选的秘密共享或同态加密扩展，以获得更强的保证。

该流水线使用标准深度学习库（PyTorch）实现，并利用已有的 ViT 检查点，开发者可以以最少的代码改动将其接入自己的模型。

结果与发现

• 准确率： 分割质量下降 <0.5 %，在 ViT 模型的常规波动范围内。
• 延迟： 额外的网络往返仅增加了几毫秒，完全满足交互式 UI 的需求。
• 隐私： 模拟的对抗性重建攻击未能从任何单个服务器的视角恢复出可辨识的内容。

总体而言，该框架在保持边缘计算负载适度的同时，实现了 与完全在设备上推理相当的隐私提升。

实际意义

• 边缘优先的 AI 产品： 移动应用、AR 眼镜和可穿戴设备现在可以在不暴露原始摄像头画面的前提下卸载重型 ViT 任务，为隐私敏感的使用场景（如医疗影像、监控）打开了大门。
• 合规监管： 通过确保没有第三方服务器持有完整用户数据，帮助满足 GDPR、CCPA 以及新兴的 AI 隐私法规。
• 成本高效的扩展： 企业可以为早期 Transformer 层部署廉价、无状态的云工作节点，而将昂贵的解码器留在边缘，从而降低云计算费用。
• 开发者友好： 框架与模型无关；任何基于 ViT 的架构（分类、检测、分割）都可以通过几行代码进行改造。
• 可组合的安全性： 该设计可以与其他技术——安全 enclave、差分隐私或联邦学习——结合，构建多层次的隐私防护。

局限性与未来工作

• 不共谋假设： 隐私保证依赖于云服务器之间不共享数据。作者提出使用密码学扩展（如秘密共享）来放宽该假设，但会带来额外开销。
• 边缘资源限制： 虽然最终聚合计算轻量，但对内存极其受限的设备来说，大量补丁仍可能导致压力。
• 网络波动： 框架假设带宽相对稳定；高延迟或丢包会影响交互体验。
• 模型适用范围： 实验主要聚焦于 SAM；将其推广到其他 ViT 系列（如 Swin、DeiT）以及非视觉任务仍是开放课题。

未来的研究方向包括形式化的隐私证明、基于网络状况的自适应划分、以及与硬件层面的可信执行环境（TEE）集成，实现端到端的安全。

作者

• Zihao Ding
• Mufeng Zhu
• Zhongze Tang
• Sheng Wei
• Yao Liu

论文信息

• arXiv ID: 2512.09309v1
• 分类: cs.DC, cs.CR, cs.CV
• 发布日期: 2025 年 12 月 10 日
• PDF: Download PDF