[Paper] LIME：加速在受限内存边缘设备上的协作无损 LLM 推理

发布: 3天前 (2025年12月26日 GMT+8 10:41)

7 min read

原文: arXiv

Source: arXiv - 2512.21835v1

概述

本文介绍了 LIME 系统，该系统允许多个边缘设备协同运行大型语言模型（例如 LLaMA‑3‑70B），且不会损失任何精度。通过巧妙地在设备之间划分模型工作并适应严格的内存和带宽限制，LIME 使得在通常过于小型的硬件上进行“大模型”推理成为可能。

Lossless collaborative inference：在多个受限内存的边缘节点上实现全精度 LLM 执行，保持模型的原始准确性。
Interleaved pipeline parallelism + offloading：一种新颖的调度方案，将计算与通信交错进行，使每个设备保持忙碌，同时最小化数据传输。
Fine‑grained offline allocation planner：在部署前确定模型层在各设备上的最优放置，考虑异构的内存/计算能力。
Online memory‑adaptation engine：在运行时动态重新分配张量，以应对突发的请求模式和临时的内存压力。
Real‑world evaluation on heterogeneous Nvidia Jetson boards：在 70 十亿参数的 LLaMA‑3‑Instruct 模型上，相比现有最佳 edge‑LLM 基线实现最高 3.7× 的加速。

模型划分 – LIME 首先将巨大的 Transformer 拆分为一系列层。离线优化器将每一层（或层组）映射到特定的 Jetson 设备上，遵循每块板子的内存和计算预算。
交错流水线并行 – 与传统的“阶段‑逐‑阶段”流水线不同，后者要求设备在传递数据前必须完成整个块的计算，LIME 采用交错的前向传播片段。当一个设备将输出发送给下一个设备时，它会立即开始处理下一个输入 token，实现通信与计算的重叠。
动态卸载 – 那些无法放入片上内存的大型激活张量会临时溢写到共享的高速 NVMe 缓存或相邻设备的内存中，然后按需即时取回。
在线内存适配 – 一个轻量级运行时监控器观察内存使用情况和请求到达率。当出现突发时，LIME 可以重新安排待处理的层，或在空闲设备上临时复制小子模块，以保持低延迟。
实现栈 – 基于 PyTorch 和 NVIDIA 的 TensorRT 构建，使用自定义 CUDA 核心实现交错流水线，并配备轻量级 RPC 层用于跨设备张量交换。

Source: …

指标	基线（单个 Jetson）	LIME（4 设备）	加速比	准确性影响
端到端延迟（平均）	1,200 ms	710 ms（零星） / 320 ms（突发）	1.7× / 3.7×	0 %（相同）
每个设备的峰值内存	12 GB（超出）	≤ 6 GB（适配）	—	—
网络带宽使用（平均）	2 Gbps（持续）	0.6 Gbps（突发）	—	—

硬件依赖：当前原型针对 NVIDIA Jetson 设备；扩展到其他边缘加速器（例如 Google Edge TPU、AMD Ryzen AI）将需要额外的内核工作。
静态离线规划器：虽然运行时可以即时适配内存，但初始层的放置是针对每个模型计算一次。快速的模型更新将需要重新规划。
安全考虑：设备间张量交换假设本地网络是可信的；未来版本应加入加密或安全隔离区，以应对敌对的边缘环境。
超越四节点的扩展：本文展示了最多四台设备的有前景结果；探索更大集群及其通信开销留待未来研究。

LIME 证明，通过智能调度和协作流水线，能够最终打破“大规模 LLM 只能在边缘运行”的神话——将真正的大规模语言智能带到位于用户交互前线的设备上。