1개월 전 · ai

[Paper] AugServe: 적응형 요청 스케줄링을 위한 증강된 Large Language Model 추론 서빙

외부 도구를 갖춘 증강 대형 언어 모델(LLMs)이 웹 애플리케이션에서 점점 더 인기를 얻음에 따라, 증강 LLM 추론 서비스 효율성을 향상시키는 것이...