당신의 AI 에이전트 예산 확인에 레이스 컨디션이 있습니다

Source: Dev.to

소개

에이전트 워크플로에 예산 제한을 처음 적용했을 때, 해결책은 간단할 것이라고 생각했습니다:

1. 지출을 추적한다.
2. 남은 금액을 확인한다.
3. 예산이 소진되면 다음 호출을 중단한다.

데모와 가벼운 테스트에서는 잘 동작하지만, 동시성, 재시도, 혹은 재시작을 도입하면 금세 불안정해집니다.

순진한 버전

많은 초기 구현은 대략 다음과 같습니다:

def call_model(prompt: str, estimated_cost: int) -> str:
    remaining = get_remaining_budget()

    if remaining = estimated_cost:
        do_the_thing()
        write_new_balance()

아직 강제 실행이 되지 않으며, 좋은 의도를 가진 채 레이스 컨디션이 발생합니다.

마무리 생각

대부분의 에이전트 실패는 이색적인 것이 아니라, 흔한 버그에서 비롯됩니다: 오래된 읽기, 중복 재시도, 잘못된 위치에 있는 카운터, 그리고 실행이 엉망이 되었다는 것을 깨닫기 전에 발생하는 부수 효과 등. 예산 제한은 다음 단계가 실행되기 전에 거부할 수 있을 때 의미가 있으며, 그 외는 단지 보고에 불과합니다.

저는 Cycles라는 오픈소스 자동화 에이전트 예산 관리 도구를 만들면서 이를 경험했습니다. 단순한 지출 확인처럼 보였던 것이 동시성, 재시도, 멱등성, 그리고 실패 상황에서도 올바르게 유지되어야 하는 상태를 포함한 분산 시스템 문제로 변했습니다.

Cycles에서 제가 어떻게 구현했는지 보고 싶다면, 확인해 보세요.