5일 전 · ai

왜 당신의 LLM 비용이 급증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

우리 LLM API 비용이 월별로 30%씩 증가하고 있었다. 트래픽도 증가하고 있었지만, 그렇게 빠르지는 않았다. 내가 쿼리 로그를 분석했을 때, 실제 문제를 발견했다: 사용자들이 …