4시간 전 · ai

🚀 시맨틱 캐싱 — LLM 확장을 위한 시스템 설계 비밀 🧠💸

새 시리즈 “AI at Scale”의 첫 번째 편에 오신 것을 환영합니다. 🚀 우리는 지난 일주일 동안 “Resiliency Fortress”를 구축하며 데이터베이스를 Thu… 로부터 보호해 왔습니다.

3일 전 · ai

왜 당신의 LLM 비용이 폭증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

우리 LLM API 청구액은 월간 대비 30%씩 증가하고 있었습니다. 트래픽도 증가하고 있었지만 그 정도는 아니었습니다. 쿼리 로그를 분석했을 때, 실제 문제를 발견했습니다: 사용자들이 …

5일 전 · ai

왜 당신의 LLM 비용이 급증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

우리 LLM API 비용이 월별로 30%씩 증가하고 있었다. 트래픽도 증가하고 있었지만, 그렇게 빠르지는 않았다. 내가 쿼리 로그를 분석했을 때, 실제 문제를 발견했다: 사용자들이 …