Red Hat 性能与规模工程
发布: (2026年1月27日 GMT+8 08:00)
1 分钟阅读
原文: Red Hat Blog
Source: Red Hat Blog
引言
在我之前的博客《如何使用 KEDA 为 vLLM 设置 KServe 自动伸缩》中，我们探讨了在 Open Data Hub（ODH）中使用 KEDA 和自定义指标自动伸缩运营商进行 vLLM 自动伸缩的基础设置。我们构建了一个超越传统 CPU 和内存指标的伸缩策略架构，采用 AI 推理专用的服务水平指标（SLI）。现在，是时候对该系统进行测试，并在真实工作负载下验证其性能了。