LLMCap – 달러 한도에 도달하면 LLM API 호출을 강제로 중단하는 프록시

Source: Hacker News

하드 달러 캡

모든 LLM 호출마다 적용됩니다. $50에 도달하면 바로 중단됩니다. 알림이 아니라 즉시 중단됩니다. 코드 한 줄만 바꾸면 됩니다. 깜짝 청구서가 절대 없습니다.

# your_app.py
from anthropic import Anthropic

client = Anthropic(api_key="sk-ant-...")

client = Anthropic(
    api_key="sk-ant-...",
    base_url="https://proxy.llmcap.io/anthropic"
)

모든 주요 제공업체와 호환

• Anthropic
• OpenAI
• Google Gemini
• Mistral
• Cohere

5분 안에 설정

LLMCap 작동 방식

• 지원 제공업체: 5개
• 평균 추가 지연: <35 ms
• 오늘 차단된 요청: 18,742건
• 가동 시간: 99.9%

코딩하는 모든 환경에서 사용할 수 있습니다.

워크플로에 바로 적용

VS Code 확장

상태 표시줄에 실시간 사용량이 표시됩니다. 클릭하면 오늘 사용량, 소모 속도, 차단 횟수를 확인할 수 있어 편집기를 떠날 필요가 없습니다.

Install Extension

터미널 CLI (PyPI)

명령줄에서 사용량 확인, 로그 탐색, 키 관리가 가능합니다. macOS, Linux, Windows 모두 지원합니다.

pip install llmcap

View on PyPI

Windows 트레이 앱 (데스크톱)

시스템 트레이 아이콘에 실시간 사용량이 표시됩니다. 오른쪽 클릭으로 통계와 빠른 작업을 수행할 수 있습니다. 항상 보이면서도 방해되지 않습니다.

pip install "llmcap[tray]"

Get Tray App

플랜 선택

3일 체험판, 종료 시까지 비용 청구 없음 · 언제든 취소 가능

Starter – $19 /월 (3일 체험판 이후)

• API 키 2개
• 모든 5개 제공업체 지원
• 일일·월간 캡 설정
• 30일 감사 로그
• 사용자 1명
• 이메일 지원

Start 3‑Day Trial

체험판 이용 시 신용카드가 필요합니다. 3일 이전에 취소하면 비용이 청구되지 않습니다.

자주 묻는 질문

LLMCap이 내 API 키를 보거나 저장하나요?
아니요. 제공업체 API 키(예: sk-ant-...)는 각 요청마다 프록시 헤더를 통해 전달된 뒤 즉시 폐기됩니다. LLMCap은 bcrypt로 해시된 LLMCap 프록시 키만 저장합니다. 제공업체 키는 절대 로그에 남기지 않습니다.

스트리밍 응답도 지원하나요?
네. 스트리밍은 처음부터 지원됩니다. LLMCap은 SSE 청크를 실시간으로 전달합니다. 예산이 스트리밍 중 초과되면 연결이 종료되고 최종 429 이벤트가 전송됩니다. 캡을 초과한 토큰은 청구되지 않습니다.

캡에 도달하면 정확히 무엇이 일어나나요?
다음 요청이 제공업체에 도달하기 전에 HTTP 429 응답으로 거부됩니다. 토큰이 소모되지 않으므로 청구되지 않습니다. 앱은 제공업체가 레이트 제한에 사용할 때와 동일한 429 응답 구조를 받으므로 기존 오류 처리 로직을 그대로 사용할 수 있습니다.

LLMCap을 직접 호스팅할 수 있나요?
셀프‑호스팅은 로드맵에 포함되어 있습니다. 프록시는 오픈소스(FastAPI + Redis)로 제공됩니다. 현재는 proxy.llmcap.io에서 제공되는 관리형 서비스를 권장합니다 — 전 세계적으로 <35 ms 지연으로 이미 배포되어 있습니다.