on‑device AI

1周前 · ai

快速 Transformer 解码：只需一个 Write-Head

概述：想象一下你的手机在逐字构建句子，并且必须一次又一次地获取相同的大块信息——这会导致回复变慢。

#transformer decoding #inference optimization #shared memory #write-head #on-device AI
2周前 · ai

通信高效端上机器学习：在非IID私有数据下的联邦蒸馏与数据增强

概述想象一下，你的手机在不交出所有照片的情况下帮助 AI 学习。新方法使手机能够在本地学习，只共享极少量的笔记，……

#federated learning #on-device AI #privacy-preserving ML #federated distillation #data augmentation #non-iid data #communication-efficient training #generative models
3周前 · ai

差分隐私联邦学习：客户端层面视角

什么是 Federated Learning？Federated Learning 让许多设备在保持原始数据本地的情况下改进共享模型。你的手机可以从你的 ph...

#federated learning #differential privacy #privacy-preserving machine learning #on-device AI
1个月前 · ai

使用 LiteRT 解锁 Qualcomm NPU 的峰值性能

现代智能手机配备了复杂的 SoCs（系统级芯片），由 CPU、GPU 和 NPU 组成，能够实现引人入胜的本地 GenAI 体验……

#Qualcomm #NPU #LiteRT #on‑device AI #LLM acceleration
1个月前 · ai

MediaTek NPU 与 LiteRT：为下一代端侧 AI 提供动力

神经处理单元（NPU）已成为下一代设备端 AI 的关键推动者。通过每秒提供数十 TOPS（万亿次运算）的计算能力，...

#MediaTek #NPU #LiteRT #on-device AI #generative AI
1个月前 · ai

通过 LiteRT 解锁 Qualcomm NPU 的峰值性能

现代智能手机配备了复杂的 SoCs（system on a chip），由 CPU、GPU 和 NPU 组成，能够实现引人入胜的本地 GenAI 体验……

#LiteRT #Qualcomm NPU #on‑device AI #GenAI #LLM acceleration
1个月前 · software

使用 LiteRT 解锁 Qualcomm NPU 的峰值性能

2025年11月24日，现代智能手机配备了复杂的SoC（系统级芯片），由CPU、GPU和NPU组成，能够实现引人注目的本地GenAI体验……

#LiteRT #Qualcomm NPU #on‑device AI #QNN accelerator #GenAI
1个月前 · ai

口袋里的隐私革命

下次当你的手机翻译外文菜单、识别你的面部或建议巧妙的照片编辑时，稍作停顿。那个人工智能并不是…

#edge AI #on‑device AI #privacy #AI chips #mobile AI #data security #federated learning