· ai
[Paper] AugServe：自适应请求调度用于增强大型语言模型推理服务
随着带有外部工具的增强型大型语言模型（LLMs）在网页应用中日益流行，提升增强型 LLM 推理服务的效率……
-
- · ai
[Paper] DSD：一种用于边缘‑云敏捷大模型服务的分布式投机解码方案
大型语言模型（LLM）推理通常面临高解码延迟以及在异构边缘‑云环境中的可扩展性受限。现有的…
- · ai
[Paper] Aragog：即时模型路由，实现代理工作流的可扩展服务
Agentic workflows 已经成为解决复杂多阶段任务的强大范式，但在大规模部署时，由于计算成本高昂，尤其是考虑到 m...