从 PyTorch 到在 Android 上发布本地 AI

Source: Dev.to

为什么设备端 AI 难以实现

现代 Android 应用依赖实时智能：健身应用中的姿势检测、社交应用中的 AR 滤镜、设备端音频处理以及实时分类。将这些模型本地运行可以提升速度、保护隐私并实现离线功能，但也带来了一个重大挑战：在种类繁多的 Android 设备上保持一致的性能。

一次与 Android 开发者的对话凸显了这个问题。他在 PyTorch 中训练了一个基于 MobileNet 的模型，转换为 TFLite，并在三部手机（Pixel 7、Galaxy S21 和一部中端 Motorola）上验证。发布后，其他设备的用户报告了卡顿、帧率不稳以及在推理甚至开始前就崩溃的情况。这种“模型在少数几部手机上可用，却在多数其他手机上失效”的模式是开发者最常遇到的问题之一。

硬件多样性与性能差异

同一年发布的两款设备在运行相同模型时可能表现截然不同：

• CPU – 能跑任何模型，但很少能满足实时需求。
• GPU – 更快，但性能高度依赖运行时 delegate（TFLite GPU、NNAPI、Vulkan）。
• NPU – 速度最快，但仅对已正确适配并为该芯片编译的模型有效。

加速器和驱动在支持的算子和精度上差异巨大。运行时 delegate 常常选择不同的计算路径，同一模型在两部手机上可能走完全不同的执行路线，从而导致稳定性和延迟的显著差异。

工具链的复杂性

从 PyTorch → ONNX → TFLite 导出模型只是第一步。许多硬件厂商提供各自的 delegate、运行时和 SDK，且都有细微的怪癖：

• 配置 TFLite GPU delegate、NNAPI 或厂商专属运行时（如 Qualcomm、Google Tensor）需要大量实验。
• 错误信息往往模糊，难以判断问题是来自不支持的算子、精度不匹配（例如在仅支持 INT8 的加速器上使用 FP32），还是缺少硬件加速。

真实世界的约束

即使模型能够运行，手机也会施加严格限制：

• 热预算 – 重模型会过热并触发降频。
• 电池消耗 – 高功耗推理导致用户快速卸载。
• 内存 – 老旧或低端手机的 RAM 较少，且加速器性能弱，可能根本无法运行某些模型。

在精度、延迟和功耗之间取得平衡往往需要细致的优化和针对特定设备的调优。

Embedl Hub：一种解决方案

为了解决这些挑战，我们构建了 Embedl Hub，一个帮助你：

• 编译 模型以匹配目标设备的正确运行时和加速器。
• 优化 延迟、内存使用和能耗，包括 NPU 加速。
• 基准测试 在云端的真实边缘硬件上运行模型，测量设备特定的延迟、内存和执行路径。

所有指标、参数和基准结果都会记录并在网页 UI 中展示，方便你查看层级行为、并排比较设备，并复现每一次运行。这使得在发布应用前轻松挑选最佳的模型‑设备组合。

平台概览

1. 编译 – 将模型转换为适合的格式并针对目标运行时。
2. 量化（可选但推荐） – 降低精度（如 INT8），以降低延迟和功耗。
3. 基准测试 – 在云端的 Android 设备群上运行模型并收集详细指标。

演示：在 Samsung Galaxy S24 上优化 MobileNetV2

假设你想运行一个在 PyTorch 中训练的 MobileNetV2 模型。

1. 导出为 ONNX 并为 LiteRT（TFLite）编译

embedl-hub compile \
    --model /path/to/mobilenet_v2.onnx \

此步骤可快速判断模型是否兼容设备芯片及其执行路径，捕获本应在发布后才会出现的问题。

2. 量化模型（强烈推荐）

量化会降低权重和激活的数值精度，显著减少推理延迟和内存占用。对现代 Android 设备的 NPU 加速尤为有益。

embedl-hub quantize \
    --model /path/to/mobilenet_v2.tflite \
    --data /path/to/dataset \
    --num-samples 100

使用少量校准数据（几百个样本）即可在保证精度损失最小的前提下，使模型在资源受限的硬件上高效运行。

3. 在云端进行基准测试

完成编译和量化后，将模型提交至 Embedl Hub 的基准测试服务。平台会在真实的 Samsung Galaxy S24 设备（以及你选择的其他设备）上运行模型，并报告：

• 每层延迟
• 内存占用
• 功耗估计
• 执行路径（CPU、GPU、NPU）

随后你可以在不同设备之间比较结果，迭代优化，并锁定满足实时需求的配置。

结论

在 Android 设备上运行 AI 不仅仅是模型转换这么简单。你必须应对硬件多样性、复杂的工具链以及严格的热和功耗预算。Embedl Hub 通过提供自动化的编译、量化和基于云的基准测试，简化了整个流程，让你有信心在碎片化的 Android 生态中实现可靠的设备端 AI。