发布 AgentCost

Source: Dev.to

问题

上个月，我的 LangChain 代理在 OpenAI 费用上花了 $800。
我根本不知道是哪一个代理很贵，也不知道该从哪里进行优化——我完全是盲目操作。

解决方案

我构建了 AgentCost，一个开源工具，用来跟踪你的代理所发出的每一次 LLM 调用。

工作原理

AgentCost 通过 Python 的猴子补丁（monkey‑patching）拦截 LangChain 的 LLM 调用。

架构

三个组件：

• Python SDK – 拦截调用
• FastAPI 后端 – 存储数据
• React 仪表盘 – 可视化费用

成果

使用 AgentCost 两周后：

• 发现我的 Router Agent 被调用的次数是实际需求的 10 倍
• 将简单查询从 GPT‑4 切换到 GPT‑3.5
• 将费用从 $800/月 降至 $450/月（节省 44 %）

技术挑战

在不破坏用户代码的情况下进行猴子补丁

我的解决方案： …

精确的 token 计数

挑战所在： 不同模型使用不同的 tokenizer …

为提升性能进行批处理

解决方案： 混合批处理（基于大小 + 时间） …

亲自尝试

AgentCost 是开源且免费使用的：

• GitHub:
• Docs:

pip install agentcost

下一步计划

• 成本警报（当达到阈值时通过 Slack/邮件通知）
• 自动优化建议
• 支持 OpenAI 和 Anthropic SDK

欢迎反馈

如果你尝试了 AgentCost，期待听到你的想法！

• Twitter: @KushagraA15
• GitHub: