왜 당신의 LLM 비용이 급증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

Source: VentureBeat

Overview

우리의 LLM API 청구액이 월간 30%씩 증가하고 있었습니다. 트래픽도 늘어나고 있었지만 그 정도는 아니었습니다. 쿼리 로그를 분석해 보니 실제 문제는 사용자가 같은 질문을 여러 가지 방식으로 한다는 것이었습니다.

“반품 정책이 어떻게 되나요?,” “어떻게 반품하나요?,” 그리고 “환불받을 수 있나요?” 모두 …