揭秘 llm-d 与 vLLM：走在正轨上

Source: Red Hat Blog

vLLM: 高性能推理引擎

vLLM 是面向企业的开源 LLM 推理引擎。其性能优势来源于多项关键创新：

• PagedAttention – 实现高效的 KV 缓存管理。
• Speculative decoding support – 通过预测多个后续 token 加速 token 生成。
• Tensor parallelism (TP) and multi‑model support – 在多 GPU 上扩展，并可同时服务多个模型。
• Integration with Hugging Face – 无缝加载 Hugging Face Hub 上的模型。