1주 전 · ai

[Paper] DSD: 에지-클라우드 민첩한 대규모 모델 서빙을 위한 Distributed Speculative Decoding 솔루션

대규모 언어 모델(LLM) 추론은 종종 높은 디코딩 지연과 이질적인 엣지‑클라우드 환경 전반에 걸친 제한된 확장성으로 고통받는다. Existing spe...

1주 전 · ai

[Paper] 아라고그: 에이전트 워크플로우의 확장 가능한 서빙을 위한 실시간 모델 라우팅

Agentic workflows는 복잡하고 다단계 작업을 해결하기 위한 강력한 패러다임으로 부상했지만, 규모에 맞게 서비스를 제공하는 것은 계산 비용이 많이 듭니다, given the m...