AgentCost 출시

Source: Dev.to

문제

지난달, 내 LangChain 에이전트가 OpenAI 비용으로 $800을 청구했습니다.
어떤 에이전트가 비싼지, 어디를 최적화해야 할지 전혀 몰라서 눈앞이 캄캄했습니다.

해결책

나는 에이전트가 수행하는 모든 LLM 호출을 추적하는 오픈‑소스 도구 AgentCost를 만들었습니다.

작동 방식

AgentCost는 Python의 몽키‑패칭을 이용해 LangChain의 LLM 호출을 가로챕니다.

아키텍처

세 가지 구성 요소:

• Python SDK – 호출을 가로챔
• FastAPI 백엔드 – 데이터 저장
• React 대시보드 – 비용 시각화

결과

AgentCost를 2주간 사용한 뒤:

• Router Agent가 필요 이상으로 10배나 호출된 것을 확인
• 간단한 질의는 GPT‑4 대신 GPT‑3.5로 전환
• 비용을 $800/월에서 $450/월로 감소 (44 % 절감)

기술적 과제

사용자 코드를 깨뜨리지 않는 몽키 패치

해결 방법: …

정확한 토큰 카운팅

도전 과제: 모델마다 다른 토크나이저를 사용…

성능을 위한 배치 처리

해결책: 하이브리드 배치(크기 + 시간 기반)…

직접 사용해 보기

AgentCost는 오픈소스이며 무료로 사용할 수 있습니다:

• GitHub:
• Docs:

pip install agentcost

앞으로의 계획

• 비용 알림(임계값 도달 시 Slack/이메일)
• 자동 최적화 제안
• OpenAI 및 Anthropic SDK 지원

피드백 환영

AgentCost를 사용해 보신다면 의견을 듣고 싶습니다!

• Twitter: @KushagraA15
• GitHub: