3일 전 · ai

왜 당신의 LLM 비용이 폭증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

우리 LLM API 청구액은 월간 대비 30%씩 증가하고 있었습니다. 트래픽도 증가하고 있었지만 그 정도는 아니었습니다. 쿼리 로그를 분석했을 때, 실제 문제를 발견했습니다: 사용자들이 …