AI 에이전트에 강제 지출 한도를 적용한 방법 (로그만으로는 부족한 이유)

출처: Dev.to

유료 API를 호출하는 AI 에이전트를 만든 적이 있다면, 비용 관리에 대해 고민했을 가능성이 높습니다. 대부분의 솔루션은 로그 기록에 머물러—에이전트가 사용한 비용을 사후에 확인할 수는 있지만, 실행 중에 이를 차단해 주는 것은 없습니다.

저는 더 강력한 방식을 원했습니다: 비용이 청구되기 전에 에이전트를 차단하는 정책, 즉 사후가 아니라 사전에 차단하는 것이죠.

콜백과 미들웨어의 문제점

LangChain 콜백, OpenAI 트레이스, CrewAI 로그—이 모두 관찰 도구에 불과합니다. 에이전트가 밤새 200번 루프를 돈다면, 아침에 로그에는 200개의 항목이 기록됩니다. 돈은 이미 소진된 상태죠.

HumanInTheLoopMiddleware와 같은 인터럽트 기반 접근법도 사전에 어떤 도구가 위험한지 알아야 합니다. 실제로 에이전트는 시간이 지나면서 새로운 도구를 획득하고, 인터럽트 목록은 점점 변질됩니다.

실제로 효과가 있는 패턴

예산을 유료 작업을 수행하기 전에 에이전트가 호출하는 도구로 간주합니다:

@function_tool
def check_spend(amount: float, category: str = None) -> str:
    """
    Check whether a planned spend is within budget.
    Returns 'approved' or 'denied: '.
    Never proceed after 'denied'.
    """
    # call your policy engine here
    ...

Enter fullscreen mode
전체 화면 모드 진입

Exit fullscreen mode
전체 화면 모드 종료