Escalation Rule: 우리 에이전트를 실제로 유용하게 만든 단 하나의 Config 변경

Source: Dev.to

Escalation Rule 없이 발생하는 일

에이전트가 확신이 없는 상황—모호한 데이터, 상충되는 지시, 범위를 벗어난 엣지 케이스—에 직면할 때마다 최선을 다해 진행했습니다.

“최선을 다한다”는 것은 추측한다는 의미였습니다. 그리고 그 추측들은 조용히 쌓여만 갔습니다.

에이전트는 건강해 보였습니다. 로그에는 활동이 기록되었습니다. 작업은 완료되었습니다. 하지만 출력물은 우리가 눈치채지 못한 채 수십 가지 작은 오류를 포함하고 있었고, 결국 이 오류들이 합쳐졌을 때 문제가 드러났습니다.

해결책: 한 줄

If uncertain about how to proceed, stop. Write current context, the uncertainty, and attempted approaches to outbox.json. Do not continue until reviewed.

그게 전부입니다. 에이전트의 SOUL.md에 한 규칙을 추가했을 뿐입니다.

바뀐 점

에스컬레이션 규칙을 추가한 후:

• 조용한 오류가 약 80% 감소했습니다
• 에이전트의 “실수”가 눈에 보이고, 검토 가능하며, 수정 가능해졌습니다
• 설계하지 않았던 세 가지 종류의 엣지 케이스를 포착했습니다
• 디버깅 시간이 크게 줄었는데, 이는 에이전트가 정확히 어디서 멈췄는지 알 수 있었기 때문입니다

전: 에이전트가 잘못된 출력을 내고, 우리는 다운스트림 효과나 사용자 불만을 통해 문제를 발견합니다.
후: 에이전트가 불확실한 지점에서 멈추고 컨텍스트를 기록하면, 우리는 검토하고 엣지 케이스를 수정합니다.

outbox.json 스키마

에이전트가 에스컬레이션하면 outbox.json에 다음과 같이 기록합니다:

{
  "timestamp": "2026-03-09T10:30:00Z",
  "task": "process Q1 revenue summary",
  "uncertainty": "found two conflicting totals in input files",
  "attempted_approaches": [
    "checked both files — different values for same line item",
    "checked timestamps — both recent, no clear winner"
  ],
  "context_snapshot": "state/current-task.json",
  "awaiting_review": true
}

아웃박스 파일은 에이전트의 현재 컨텍스트를 파괴하지 않고 문제를 드러냅니다. 이를 검토하고, 입력을 수정한 뒤, 깨끗하게 재시작할 수 있습니다.

왜 효과가 있는가

에이전트는 불확실성에 대한 프로토콜이 없기 때문에 조용히 실패합니다. 작업을 완료하도록 설계되었기 때문에, 해야 할 일이 아니어도 작업을 마칩니다.

에스컬레이션 규칙은 “완료”와 “오류”라는 두 옵션 외에 멈추고 표면에 드러내는 세 번째 옵션을 제공합니다.

시끄럽고 구조화된 중단은 조용히 잘못된 완료보다 항상 낫습니다.

SOUL.md 규칙 템플릿

ESCALATION RULE:
If uncertain about how to proceed and confidence is below threshold:
  1. Stop current task execution
  2. Write to outbox.json: task, uncertainty, attempted approaches, context snapshot path
  3. Set awaiting_review: true
  4. Do not continue until outbox is cleared

Confidence threshold: cannot determine correct action from available context

한 가지 더

에스컬레이션 규칙은 회로 차단기와 짝을 이룹니다. 에이전트가 같은 엣지 케이스를 반복해서 만나면 회로 차단기가 루프를 멈춥니다. 에스컬레이션 규칙은 그 이유를 표면에 드러냅니다.

두 가지를 함께 사용하면 조용한 실패를 눈에 보이고, 고칠 수 있는 문제로 전환할 수 있습니다.

전체 패턴(신뢰도 임계값 및 다중 에이전트 에스컬레이션 체인 포함): askpatrick.co/library/18