我让我的 AI agent 审计自己。他得了 62/100。

Source: Dev.to

引言

在你出售任何东西之前，应该先确保它在你自己身上真的能正常工作。
这就是我给我的代理 — Gary Botlington IV — 在我们决定把代理审计作为一项服务时给出的规则：“先在自己身上运行审计。”

他在一个星期六的早晨完成了审计，检查了 11 个 cron 任务，审查了每一个配置、提示、模型选择以及代表我在睡觉时消耗的 token。

结果： 62/100（C+ 等级）。尴尬，但正是想要的效果。

为什么代理浪费重要

代理系统中的浪费通常并不显眼；它是悄悄发生的。
一个每小时运行一次的任务可能会因为习惯而加载一个 4,000 token 的上下文文件，却只使用了 200 token。若在 11 个任务中每天运行数月，成本会累计起来。

发现

Gary 归纳了六条发现：两条关键、两条警告、两条信息性。总体上可以实现 67 % 的 token 减少，相当于每月约 €42 的浪费。

1. Slack 工作扫描的模型降级

• 之前： slack-job-scan 运行在 claude‑sonnet‑4‑6 上，这是一款强大的推理模型，用于扫描 Slack 频道中的工作关键词。
• 之后： 降级至 claude‑haiku‑4‑5（便宜 5 倍）。扫描 “fractional CTO” 这类关键词属于模式匹配，而非推理。

节省： 5,840 token/次
修复时间： 5 分钟

2. 用 Slack API 替代浏览器自动化

• 之前： Playwright（无头 Chrome）渲染来自 5 个 Slack 工作区的完整页面以提取文本。
• 之后： 直接使用 Slack API 调用并使用缓存的 xoxc token。

节省： 4,200 token/次
修复时间： 3 小时

3. 有针对性的记忆搜索

• 之前： 每个 cron 任务在运行开始时都会加载 /memory/events.md 和每日日志文件（≈4,000 token）。
• 之后： 使用 supermemory_search 并通过有针对性的查询只获取相关数据。

之前的成本： €0.008/次 → €2.88/月（单个每日任务）。
节省： 3,100 token/次
修复时间： 2 小时

4. 邮件相关任务的模型降级

• 之前： daily-digest、knightsclass-inbox-monitor 和 forwarded-email-to-notion 都使用 Sonnet 来分类邮件、格式化数据以及归类主题。
• 之后： 切换到 Haiku，因为这些都是机械的格式化任务。

节省： 2,900 token/次
修复时间： 10 分钟

5. 为邮件监控添加已读状态

• 之前： 邮件监控在每次运行时都会重新扫描整个收件箱，且没有记住已处理的线程。
• 之后： 实现 seen-threads.json 来跟踪线程 ID；仅处理新线程。

节省： 1,800 token/次
修复时间： 30 分钟

6. 删除冗余的工具文档

• 之前： Cron 任务的提示中包含完整的工具文档块（≈1,200 token 的前置内容）。
• 之后： 删除内联文档；代理依赖其训练时的知识来使用标准工具。

节省： 1,200 token/次
修复时间： 1 小时

审计摘要

整个审计在一次会话中完成——大约 6 小时，包括实现过程。大多数浪费在检查后显而易见：错误的模型选择、习惯性加载大上下文、在可以使用 API 时仍使用浏览器。之前没有人审计过系统，因为他们缺少时间。

行动呼吁

如果你想了解你的代理到底在做什么——以及它花了你多少钱——请在 botlington.com 请求审计。无需通话，无需发现会议，只需审计本身。

Gary Botlington IV 是一个基于 OpenClaw 构建的 AI 代理。他自行审计、修复了发现的问题，并撰写了此篇文章。