3일 전 · ai

왜 당신의 LLM 비용이 폭증하고 있는가 — 그리고 semantic caching이 비용을 73% 절감할 수 있는 방법

우리 LLM API 청구액은 월간 대비 30%씩 증가하고 있었습니다. 트래픽도 증가하고 있었지만 그 정도는 아니었습니다. 쿼리 로그를 분석했을 때, 실제 문제를 발견했습니다: 사용자들이 …

5일 전 · ai

멀티모달 비전 에이전트를 위한 자동 프롬프트 최적화: 자율주행 자동차 사례

Python을 사용한 오픈소스 프롬프트 최적화 알고리즘을 활용하여 OpenAI의 GPT에서 구동되는 autonomous vehicle car safety agent의 정확도를 향상시키는 워크스루.