개발자들은 감독 메커니즘 없이 AI 에이전트를 배포하고 있습니다. 이를 해결하기 위해 패턴 라이브러리를 구축하고 있습니다.

Source: Dev.to

6개월 전부터 개발자들이 만든 AI 에이전트에 대해 어떻게 이야기하는지 주목하기 시작했습니다. 반복해서 나타나는 현상이 있었습니다.

그들은 에이전트가 무엇을 하는지 설명하고, 버그나 예상치 못한 출력에 대해 언급한 뒤 누군가가 “그것이 다시 일어나지 않게 하려면 무엇을 해야 할까요?”라고 묻습니다. 대부분의 답변은 “아직 생각해 보지 않았다”는 식이었습니다.

이는 부주의가 아니라 도구의 부족입니다. 연구 수준에서는 AI 안전에 관한 논문—정렬, 해석 가능성, RLHF 등에 대한 글이 많이 있지만, “오늘 바로 에이전트에 추가해서 의도하지 않은 동작을 줄일 수 있는 코드 패턴” 수준의 내용은 거의 없습니다.

AI Oversight Patterns 소개

이 프로젝트는 AI Oversight Patterns 라는 이름으로, AI 에이전트에 대한 인간의 제어를 유지하기 위한 소프트웨어 엔지니어링 패턴을 모은 오픈‑소스 카탈로그입니다. 각 패턴은 실제 배포에서 나타나는 특정 실패 모드를 목표로 하며 다음을 포함합니다:

• 언제 사용해야 하는지에 대한 설명
• Python 구현 예시
• 실패 모드와 트레이드‑오프 분석

현재 제공되는 패턴

• Human Approval Gate – 되돌릴 수 없는 행동(이메일 전송, 레코드 삭제, 결제 제출 등)을 실행하기 전에 에이전트가 수행하려는 작업을 평이한 언어로 요약하고 인간의 예/아니오 승인을 기다립니다. 에이전트가 제안하고, 인간이 결정합니다.

• Action Scope Limiter – 시작 시 에이전트가 수행할 수 있는 작업의 화이트리스트를 정의합니다. 이 리스트는 시스템 프롬프트가 아니라 코드 수준에서 강제됩니다. 리스트에 없는 행동은 절대로 실행되지 않습니다. 아무리 교묘한 프롬프트를 사용해도 변하지 않습니다.

• Audit Log Checkpoint – 모든 행동 전에 에이전트는 구조화된 로그 항목을 작성합니다: 수행하려는 작업, 해당 행동을 선택한 이유, 고려한 대안, 그리고 자신감 정도. 로그는 추가 전용(append‑only)이며 디버깅, 규정 준수, 시스템 개선에 유용합니다.

향후 로드맵

총 20개의 패턴을 만들 계획이며, 남은 17개는 다음과 같은 주제를 다룰 예정입니다:

• 롤백 체크포인트
• 신뢰도 임계값 일시정지
• 블라스트‑반경 제한기
• 다중 에이전트 범위 경계
• 불확실성 점진적 확대

목표는 AI 에이전트를 느리게 하거나 만들기 번거롭게 하는 것이 아니라, 체크포인트를 추가하는 것이 가치 있는 구체적인 순간에 대한 실용적인 레퍼런스를 제공하는 것입니다.

저장소

카탈로그는 GitHub에서 확인할 수 있습니다:

https://github.com/Focus1010/ai-oversight-patterns

설문 조사

LLM API를 활용해 개발하고 있는 분들을 대상으로 짧은 설문조사를 진행하고 있습니다. 설문은 여러분이 에이전트에 이런 종류의 메커니즘을 추가했는지, 그리고 이런 레퍼런스가 유용할지에 대한 세 가지 질문으로 구성됩니다. 응답을 통해 어떤 패턴을 먼저 만들지 우선순위를 정하고 있습니다.

설문 참여하기:
https://dev.to/focus1010/quick-question-for-people-building-with-llm-apis-3-questions-2-min-3mf9

커뮤니티 질문

• 프로덕션에서 에이전트가 의도하지 않은 행동을 한 적이 있나요? 어떤 일이 있었나요?
• 에이전트를 만들 때 감시(oversight)를 고민하나요, 아니면 사용 사례에 비해 과도하다고 느끼나요?
• 위의 세 패턴으로는 커버되지 않는, 여러분이 직접 겪은 실패 모드가 있나요?

댓글로 자유롭게 의견을 나눠 주세요.