通信高效端上机器学习：在非IID私有数据下的联邦蒸馏与数据增强

Source: Dev.to

概览

想象一下，你的手机在不把所有照片交出去的情况下帮助 AI 学习。新方法让手机在本地学习，只共享极小的笔记，实现 on‑device learning，同时大部分数据仍保留在设备上。这降低了设备之间所需的通信量，带来 less communication overhead，即使是大型模型也能更快更新。

处理异构数据

手机上的数据类型常常各不相同，这会让共享模型感到困惑。为了解决这个问题，设备协同训练一个小型 generative model，用来合成缺失的样本。随后，每个设备使用这些生成的样本在本地填补空白，从而在不暴露原始数据的前提下提升整体模型。

隐私与性能

该方法在保持更多个人数据隐私的同时，仍能让系统有效学习，提供比将原始数据发送到中心服务器更好的 privacy。实验表明，该方法可以将数据传输量降低约 26×，同时实现几乎与完整数据共享相同的性能——相当于传统 federated learning 的 high accuracy。

类比

这就像邻居们共享食谱而不是整个食品储藏室；每个人都能烹饪出美味佳肴，同时大部分食材仍保留在家中。

参考

Communication‑Efficient On‑Device Machine Learning: Federated Distillation and Augmentation under Non‑IID Private Data