[Paper] 边缘的模块化基础模型推理：网络感知的微服务优化

Source: arXiv - 2601.19563v1

Overview

基础模型（FMs）释放了前所未有的多模态和多任务智能，但其以云为中心的部署方式阻碍了实时响应并危及用户隐私。同时，在资源受限且网络状况不确定的情况下，边缘的单体执行仍不可行。为弥合这一差距，我们提出了一种基于微服务的 FM 推理框架，利用重型核心服务与轻量服务之间的固有功能不对称。我们的两层部署策略在资源争用下确保稳健的服务质量（QoS）。

具体而言，核心服务通过带稀疏约束的长期网络感知整数规划静态放置，以形成容错的骨干网络。轻量服务则由低复杂度的在线控制器动态编排，该控制器将有效容量理论与李雅普诺夫优化相结合，在实时工作负载波动下提供概率性的时延保证。仿真结果表明，我们的框架在适度的部署成本下实现了超过 84 % 的平均准时任务完成率，并在系统负载扩展时保持强鲁棒性。

Key Contributions

• cs.DC

Methodology

请参阅完整论文获取详细方法论。

Practical Implications

本研究有助于推动 cs.DC 领域的发展。

Authors

• Juan Zhu
• Zixin Wang
• Shenghui Song
• Jun Zhang
• Khaled Ben Letaief

Paper Information

• arXiv ID: 2601.19563v1
• Categories: cs.DC
• Published: January 27, 2026
• PDF: Download PDF