왜 76%의 AI Agent 배포가 실패하는가 (그리고 당신의 배포를 테스트하는 방법)
Source: Dev.to
LangChain의 2026 State of Agent Engineering 보고서(1,300명 이상 응답자)에 따르면, 품질이 #1 장벽입니다. 팀의 32%가 이를 주요 차단 요인으로 꼽습니다. 하지만 오직 52%의 팀만이 평가 시스템을 갖추고 있습니다.
이것이 테스트 격차입니다. 에이전트는 비결정적이며 다단계 시스템이어서 전통적인 단위 테스트가 거의 무용지물입니다. 하지만 그렇다고 해서 전혀 테스트할 수 없는 것은 아닙니다.
Source: …
결정론적으로 테스트할 수 있는 것들은?
LLM‑as‑judge(비용이 많이 들고 비결정적인) 를 사용하기 전에, 단순한 어설션만으로 검증할 수 있는 놀라운 양이 있습니다.
1. 도구 호출 정확성
에이전트가 올바른 도구를 호출했나요? 올바른 순서였나요? 올바른 인자를 사용했나요?
from agent_eval import Trace, assert_tool_called, assert_tool_not_called, assert_tool_call_order
trace = Trace.from_jsonl("weather_agent_run.jsonl")
assert_tool_called(trace, "get_weather", args={"city": "SF"})
assert_tool_not_called(trace, "delete_user") # 안전 검사
assert_tool_call_order(trace, ["search", "read", "summarize"])이렇게 하면 큰 범위의 회귀를 잡아낼 수 있습니다: 프롬프트가 바뀌어 에이전트가 도구 사용을 잊어버리거나, 도구를 잘못된 순서로 사용하는 경우 등.
2. 루프 감지
에이전트는 같은 도구를 같은 인자로 반복해서 호출하며 멈추는 경우가 많습니다.
assert_no_loop(trace, max_repeats=3) # 연속으로 3번 이상 같은 도구가 호출되면 실패
assert_max_steps(trace, 10) # 예산 제어3. 출력 정상성
assert_final_answer_contains(trace, "San Francisco")
assert_final_answer_matches(trace, r"\d+°F") # 온도가 포함돼야 함
assert_no_empty_response(trace)
assert_no_repetition(trace, threshold=0.85) # 복사‑붙여넣기 답변 금지4. 회귀 감지
CI/CD에 최적화된 핵심 기능: 기준(trace)과 새로운(trace)를 비교합니다.
from agent_eval import diff_traces
baseline = Trace.from_jsonl("baseline.jsonl")
current = Trace.from_jsonl("current.jsonl")
diff = diff_traces(baseline, current)
print(diff.summary())
# ❌ Tool removed: get_weather
# 🐢 Latency increased: 800ms → 5000ms (6.3x)
# 📝 Final answer changed (similarity: 42%)
assert not diff.is_regression # 도구가 제거되었거나 지연 시간이 2배 초과이면 실패프롬프트·모델이 바뀔 때마다 CI에서 실행하세요. 프로덕션에 반영되기 전에 회귀를 잡아낼 수 있습니다.
Source:
3계층 테스트 피라미드
나는 에이전트 테스트를 세 가지 층으로 생각한다:
Layer 1: 결정론적 어설션 (빠르고, 무료이며, 신뢰성 있음)
- 도구 호출, 제어 흐름, 출력 패턴, 성능 한계
- API 호출 없음, 비용 제로, 밀리초 단위 실행
- 여기서 테스트 가치의 약 80 %가 나온다
Layer 2: 통계적 메트릭 (빠르고, 무료이며, 근사치)
- 유사도 점수, 드리프트 탐지, 효율성 메트릭
- 여전히 API 호출 없음, 로컬에서 실행
Layer 3: LLM‑as‑Judge (느리고, 비용이 많이 들며, 강력함)
- 환각 탐지, 목표 달성 여부, 추론 품질
- 결정론적으로 검증할 수 없는 경우에만 제한적으로 사용
대부분의 팀은 바로 Layer 3으로 뛰어든다. 이는 단위 테스트 없이 통합 테스트만 작성하는 것과 같다. 아래 층부터 시작하라.
도구 격차
Current options:
- LangSmith / Braintrust / Arize — 엔터프라이즈 SaaS, 훌륭하지만 무겁다
- DeepEval — 오픈 소스이지만 40개 이상의 의존성(파이토치 포함)
- agentevals — 모든 평가에 OpenAI API 필요
- promptfoo — Node.js 기반, 파이썬 아님
I built agent‑eval to fill the gap: 의존성 제로, 로컬‑우선, 프레임워크 비종속. 레이어 1 및 2 어설션은 파이썬이 실행되는 어디서든 동작하며, API 키도, 계정도, 업로드도 필요 없습니다.
pip install agent-eval-lite데이터는 명확합니다: 품질이 에이전트 배포를 좌우합니다. 해결책은 더 강력한 모델이 아니라 더 나은 테스트입니다. 결정론적 어설션부터 시작하세요. 얼마나 많은 문제를 잡아내는지 놀라실 겁니다.