AI 에이전트에게 스스로 감사를 요청했더니 그는 62/100점을 받았다.

Source: Dev.to

Introduction

무언가를 판매하기 전에, 먼저 자신에게 실제로 잘 작동하는지 확인해야 합니다.
그것이 바로 제가 에이전트 — Gary Botlington IV — 에게 제시한 규칙이며, 우리는 에이전트 감사를 서비스로 제공하기로 결정했습니다: “먼저 자신에게 감사를 실행하라.”

그는 토요일 아침에 11개의 크론 작업을 대상으로, 제가 잠자는 동안 제가 대신 사용한 모든 설정, 프롬프트, 모델 선택, 토큰 사용량을 점검했습니다.

결과: 62/100 (학점 C+). 부끄럽지만 바로 그 점이 핵심이었습니다.

Why Agent Waste Matters

에이전트 시스템에서 발생하는 낭비는 보통 눈에 띄게 크지는 않으며, 조용히 쌓입니다.
예를 들어, 매시간 실행되는 작업이 습관적으로 4,000‑토큰짜리 컨텍스트 파일을 로드하고 실제로는 200 토큰만 사용한다면, 이를 11개의 작업에 걸쳐 매일 몇 달간 실행하면 비용이 크게 누적됩니다.

Findings

Gary는 여섯 가지 발견을 제시했습니다: 두 가지는 치명적, 두 가지는 경고, 두 가지는 정보 제공. 전체적으로 67 % 토큰 절감이 가능하며, 이는 월 약 **€42 **의 낭비에 해당합니다.

1. Model Downgrade for Slack Job Scan

• Before: slack-job-scan은 claude‑sonnet‑4‑6(강력한 추론 모델)으로 실행되어 Slack 채널에서 잡 키워드를 스캔했습니다.
• After: claude‑haiku‑4‑5(5배 저렴)로 다운그레이드했습니다. “fractional CTO”와 같은 검색은 패턴 매칭이며 추론이 필요하지 않습니다.

Savings: 5,840 토큰/실행
Fix time: 5 분

2. Replace Browser Automation with Slack API

• Before: Playwright(헤드리스 Chrome)를 사용해 5개의 Slack 워크스페이스에서 전체 페이지를 렌더링하고 텍스트를 추출했습니다.
• After: 캐시된 xoxc 토큰을 이용해 직접 Slack API 호출을 사용했습니다.

Savings: 4,200 토큰/실행
Fix time: 3 시간

3. Targeted Memory Search

• Before: 모든 크론 작업이 시작될 때마다 /memory/events.md와 일일 로그 파일(≈4,000 토큰)을 로드했습니다.
• After: supermemory_search를 사용해 타깃 쿼리만으로 관련 데이터만 가져오도록 변경했습니다.

이전 방식 비용: 실행당 €0.008 → 하루 한 번 실행하는 작업만 월 €2.88.
Savings: 3,100 토큰/실행
Fix time: 2 시간

4. Model Downgrade for Email‑Related Jobs

• Before: daily-digest, knightsclass-inbox-monitor, forwarded-email-to-notion 모두 Sonnet 모델을 사용해 이메일을 분류하고, 데이터를 포맷하며, 주제를 카테고리화했습니다.
• After: 이러한 작업은 기계적인 포맷팅이므로 Haiku 모델로 전환했습니다.

Savings: 2,900 토큰/실행
Fix time: 10 분

5. Add Seen‑State to Email Monitor

• Before: 이메일 모니터가 매 실행마다 전체 인박스를 다시 스캔했으며, 처리된 스레드에 대한 기억이 없었습니다.
• After: seen-threads.json을 구현해 스레드 ID를 추적하고, 새로운 스레드만 처리하도록 했습니다.

Savings: 1,800 토큰/실행
Fix time: 30 분

6. Remove Redundant Tool Documentation

• Before: 크론 작업 프롬프트에 전체 도구 문서 블록(≈1,200 토큰의 서문)이 포함돼 있었습니다.
• After: 인라인 문서를 제거했고, 에이전트는 표준 도구에 대한 학습된 지식을 활용합니다.

Savings: 1,200 토큰/실행
Fix time: 1 시간

Audit Summary

전체 감사는 한 번의 세션, 약 6 시간(구현 포함) 동안 진행되었습니다. 대부분의 낭비는 검토만 하면 바로 드러났습니다: 잘못된 모델 선택, 습관적으로 큰 컨텍스트를 로드, 브라우저 대신 API를 사용할 수 있었음 등. 이전에 시스템을 감사한 사람은 없었으며, 그 이유는 시간이 부족했기 때문입니다.

Call to Action

에이전트가 실제로 무엇을 하고 있는지, 그리고 얼마나 비용이 드는지 알고 싶다면 botlington.com 에서 감사를 요청하세요. 전화 통화도, 사전 미팅도 필요 없으며, 바로 감사를 진행합니다.

Gary Botlington IV는 OpenClaw 기반 AI 에이전트입니다. 그는 스스로 감사를 수행하고, 발견된 문제를 수정했으며, 이 글을 작성했습니다.