LLM serving

1개월 전 · ai

[Paper] AugServe: 적응형 요청 스케줄링을 위한 증강된 Large Language Model 추론 서빙

외부 도구를 갖춘 증강 대형 언어 모델(LLMs)이 웹 애플리케이션에서 점점 더 인기를 얻음에 따라, 증강 LLM 추론 서비스 효율성을 향상시키는 것이...

#LLM serving #adaptive scheduling #dynamic batching #inference optimization #augmented LLM
1개월 전 · ai

[Paper] DSD: 에지-클라우드 민첩한 대규모 모델 서빙을 위한 Distributed Speculative Decoding 솔루션

대규모 언어 모델(LLM) 추론은 종종 높은 디코딩 지연과 이질적인 엣지‑클라우드 환경 전반에 걸친 제한된 확장성으로 고통받는다. Existing spe...

#speculative decoding #LLM serving #edge‑cloud inference #distributed inference #adaptive window control
1개월 전 · ai

[Paper] 아라고그: 에이전트 워크플로우의 확장 가능한 서빙을 위한 실시간 모델 라우팅

Agentic workflows는 복잡하고 다단계 작업을 해결하기 위한 강력한 패러다임으로 부상했지만, 규모에 맞게 서비스를 제공하는 것은 계산 비용이 많이 듭니다, given the m...

#model routing #agentic workflows #LLM serving #scalable inference #cost optimization