[Paper] 缓解 Edge AI 系统中的 GIL 瓶颈
在资源受限的边缘设备上部署基于 Python 的 AI 代理会面临运行时优化的挑战:需要大量线程来掩盖 I/O 延迟,但 Python 的 Global Interpreter Lock(GIL)阻止了真正的并行执行,导致 CPU 利用率不佳。为了解决这一问题,我们提出了一种混合执行模型,结合多进程(multi-process)和多线程(multi-threading)策略:对 CPU 密集型任务使用 Python 的 multiprocessing,对 I/O 密集型操作则在独立线程中使用异步 I/O(asynchronous I/O)。这种方式能够绕过 GIL 处理计算密集型工作负载,并高效地将 I/O 与计算重叠,从而在受限硬件上提升整体吞吐量。我们在 Raspberry Pi 4 上部署了实时目标检测流水线(object detection pipeline),实验表明该模型相较于纯多线程实现实现了 2.5 倍的加速,同时保持了低内存开销。