[논문] 계약 기반 스킬: 기업 AI 에이전트를 위한 GovernSpec 설계 프레임워크

출처: arXiv - 2605.22634v1

개요

이 논문은 **계약형 스킬(contractual skills)**이라는 설계 프레임워크를 소개한다. 이는 기업용 AI 에이전트가 사용하는 일반적인 “skill” 파일을 자체 설명 계약서 형태로 전환한다. 목표, 입력 제한, 권한 규칙, 출력 보장 및 검증 단계를 읽기 쉬운 SKILL.md에 직접 삽입함으로써, AI 기반 워크플로우를 보다 투명하고 감사 가능하게 만들며, 개발자가 선호하는 가벼운 탐색성을 희생하지 않고도 관리하기 쉽게 만든다.

주요 기여

• 인간이 읽을 수 있는 markdown과 기계가 파싱할 수 있는 YAML 섹션을 결합한 GovernSpec‑영감 계약 모델을 AI 스킬에 적용.
• 명확한 분류 체계를 제시해 계약형 스킬 정의, 런타임 가드레일, 툴 어댑터, 추적·평가 구성 요소를 구분.
• 두 차례의 대규모 오프라인 평가(텍스트 생성 및 툴 호출)에서 계약형 스킬이 검증 가능성을 높이고 다양한 LLM에서 위험한 툴 사용을 감소시킴을 입증.
• 실용적인 가이드라인을 제공해 기존 기업 AI 스택에 계약형 스킬을 통합하면서 점진적 로딩과 저오버헤드 탐색을 유지하도록 함.

방법론

1. 계약형 스킬 포맷 설계 – 저자들은 기존 SKILL.md에 구조화된 섹션(## Goal, ## Input Bounds, ## Output Contract, ## Verification 등)을 추가한다. 각 섹션은 인간을 위한 markdown 블록으로 렌더링될 수 있으며, 필요에 따라 자동 집행을 위한 GovernSpec YAML 계약서로도 출력될 수 있다.

2. 구현 레이어 –

   • Model Context Protocol (MCP): 추론 시점에 계약을 LLM에 노출.
   • 툴 어댑터: 계약 기반 의도를 구체적인 API 호출로 변환.
   • 런타임 가드레일: 입력·출력 제약을 강제하고, 필요 시 인간 승인을 트리거.
   • 추적·평가: 계약 준수 메트릭을 수집해 사후 분석에 활용.

3. 실험 설정 –

   • 텍스트 생성 연구: 3개 기업 스킬 × 15개 합성 과제 × 4가지 지시 조건 × 8개 LLM → 960개 생성 결과, 각각 2명의 평가자에게 평가받아 총 1,680점 확보.
   • 툴 호출 챌린지: 8개 LLM이 192개의 툴 호출 시퀀스를 시뮬레이션, 고위험 호출(예: 무단 데이터 접근) 빈도 측정.

4. 베이스라인 –

   • No‑skill (단순 프롬프트).
   • Minimal‑skill (계약 필드 없이 기본 지시만 포함).
   • Expanded‑skill (계약 섹션 없이 정보가 풍부한 프롬프트).

결과 및 인사이트

저자들은 계약형 스킬이 거버넌스 레이어 역할을 한다고 결론짓는다. 즉, 의도·경계·수용 기준을 명시적으로 드러내어 감사와 디버깅에 도움을 주지만, 안전성을 보장하는 만능 솔루션은 아니라는 점이다.

실용적 함의

• 빠른 온보딩 – 신규 팀원이 SKILL.md를 읽는 즉시 에이전트가 수행 가능한 작업, 허용 입력, 기대 출력 등을 파악할 수 있다.
• 규제 준수 – 명시적 계약 덕분에 감사 증거 수집(GDPR, SOC‑2 등)이 용이해진다. 모든 상호작용을 문서화된 조항에 추적할 수 있기 때문이다.
• 환각·오용 감소 – 입력 제한과 출력 계약을 LLM에 노출함으로써 범위를 벗어난 요청을 사전에 차단, 모델이 데이터를 조작할 확률을 낮춘다.
• 플러그‑인 가드레일 – 기존 툴 호출 파이프라인에 계약형 스킬 레이어를 감싸기만 하면 핵심 비즈니스 로직을 재작성할 필요 없이 가드레일을 적용할 수 있다.
• 메트릭 기반 반복 – 준수 점수가 자동으로 로깅되므로, 제품 팀이 드리프트(예: 스킬 성공률이 임계값 이하로 떨어짐)를 모니터링하고 CI/CD 알림을 트리거할 수 있다.

한계 및 향후 연구

• 품질 vs. 거버넌스 트레이드오프 – 실험에서는 원시 생성 품질이 크게 향상되지 않았으며, 고위험 출력에 대해서는 여전히 다운스트림 검증이나 인간 검토가 필요하다.
• 모델 의존성 – 일부 LLM은 프롬프트 길이 제한으로 계약 힌트를 무시한다; 향후 연구에서는 계약 인식 데이터를 활용한 파인튜닝 등 tighter integration을 탐색할 수 있다.
• 툴 가드레일 완전성 – 계약이 위험 호출을 감소시키지만 완전히 차단하지는 않는다; 보완적인 런타임 샌드박스가 여전히 필요하다.
• 계약의 확장성 – 대규모 조직에서 수천 개의 계약을 관리하려면 카탈로그 서비스나 버전 관리 전략이 필요하지만, 논문에서는 이를 간략히 언급할 뿐이다.

핵심 요약: 계약형 스킬은 기업 AI 팀이 이미 사용하고 있는 스킬 정의 파일에 거버넌스를 저오버헤드로 직접 삽입할 수 있게 해준다. 감사 가능성과 안전성을 크게 개선하면서 모델 성능에 큰 변화를 주지 않는다. AI 에이전트가 비즈니스 워크플로우에 점점 더 널리 퍼짐에 따라, 이러한 계약‑우선 설계 패턴은 개발자 툴킷의 표준 요소가 될 가능성이 높다.

저자

• Ting Liu

논문 정보

• arXiv ID: 2605.22634v1
• 분류: cs.SE, cs.AI
• 발표일: 2026년 5월 21일
• PDF: PDF 다운로드