Red Hat 성능 및 확장 엔지니어링
발행: (2026년 1월 27일 오전 09:00 GMT+9)
1 분 소요
원문: Red Hat Blog
Source: Red Hat Blog
Introduction
이전 블로그인 How to set up KServe autoscaling for vLLM with KEDA에서 우리는 KEDA와 커스텀 메트릭스 자동 스케일러 오퍼레이터를 사용하여 Open Data Hub(ODH)에서 vLLM 자동 스케일링의 기본 설정을 탐구했습니다. 전통적인 CPU 및 메모리 메트릭을 넘어 AI 추론 전용 서비스 수준 지표(SLI)를 활용한 스케일링 전략 아키텍처를 구축했습니다. 이제 이 시스템을 실제 워크로드 하에서 테스트하고 성능을 검증할 시간입니다.