LLM 예산 알림은 비용을 사용자에게 매핑할 수 없으면 도움이 되지 않습니다

Source: Dev.to

하드 캡의 문제점

대부분의 개발자는 OpenAI에 $500 하드 캡을 설정했기 때문에 AI 비용을 통제하고 있다고 생각합니다.
실제로는 비용을 통제하는 것이 아니라, 앱이 중단되는 시점을 알려주는 타이머에 불과합니다.

$400에 도달해 경고 이메일을 받으면 대시보드에서 GPT‑4o 사용량이 급증한 것을 보게 됩니다. 그런데 누가 일으켰을까?
제공자 대시보드는 알려주지 않습니다; 토큰이 가득한 거대한 벽만 보여줄 뿐입니다.

멀티‑테넌트 SaaS를 구축하고 있다면, 모든 LLM 호출을 특정 사용자 ID와 연결해야 합니다. 비용을 사용자에게 할당하지 않으면 단위 경제성을 파악할 수 없으며, 파워 유저에게 손해를 보고 있을 수도 있습니다.

비용을 사용자와 연결하기

LLMeter는 여러분의 앱과 제공자 사이에 위치하는 오픈‑소스 대시보드입니다. 메타데이터에 사용자 ID를 전달함으로써, LLMeter는 다음과 같이 사용자별, 일별 비용을 추적합니다:

• OpenAI
• Anthropic
• DeepSeek
• OpenRouter

특징

• 프록시도 없고, Stripe 종속도 없습니다 – 순수 데이터만 제공합니다.
• AGPL‑3.0 라이선스로 자체 호스팅 가능.

여기서 확인해 보세요: