마이크로소프트의 오픈소스 SkillOpt, 모델 가중치 변경 없이 AI 에이전트 스킬 자동 업그레이드

출처: VentureBeat

Agent skills는 실제 AI 애플리케이션에서 중요한 역할을 차지하게 되었으며, 모델이 특정 기업 사용 사례와 복잡한 워크플로에 맞게 조정될 수 있도록 하는 메커니즘—보통 텍스트 기반 마크다운(.md) 파일 폴더에 저장된 일련의 지시문—을 제공합니다.

하지만 이러한 스킬을 최적화하는 과정은 느리고 오류가 잦습니다. 기본 AI 모델의 파라미터처럼 학습시킬 수 없기 때문입니다. 대신 사용자는 보통 각 파일의 지시문을 일일이 다시 입력하면서 “추측 게임”을 해야 하며, 어떤 변경이 에이전트 AI 성능을 향상시키고 오류를 줄일지 고민합니다.

SkillOpt은 마이크로소프트가 개발한 새로운 오픈소스(MIT 라이선스) 프레임워크로, 한 단계 더 나아갑니다. 에이전트 스킬 .md 문서를 성능 피드백에 따라 진화하는 학습 가능한 객체로 전환하는 최적화기를 도입합니다.

딥러닝 스타일의 최적화를 사용해 AI가 문서 수정 사항을 체계적으로 탐색하고 최적의 지시문 조합을 찾을 수 있게 합니다. 가장 중요한 점은, 기본 모델의 가중치를 전혀 변경하지 않고도 이러한 절차적 적응을 수행한다는 것입니다.

다양한 산업 벤치마크에서 SkillOpt은 기존 베이스라인을 능가하며, GPT‑5.5와 Qwen 같은 모델의 정확도를 크게 끌어올립니다. 그 결과, AI 에이전트가 새로운 도메인에 손쉽게 적응할 수 있는 작고 전이 가능한 스킬 아티팩트 세트가 만들어집니다.

에이전트 스킬 최적화의 과제

에이전트 스킬은 절차적 지식을 자연어 사양으로 패키징합니다. 여기에는 도메인 휴리스틱, 도구 사용 정책, 출력 제약, 알려진 실패 모드 등이 포함됩니다. 이러한 스킬은 에이전트가 복잡한 기업 워크플로에 적응하도록 하는 외부 인터페이스 역할을 합니다. 실제로 에이전트 스킬은 텍스트 문서 형태로 저장되며 실행 전 에이전트 컨텍스트에 삽입됩니다.

스킬의 주요 장점 중 하나는 모델 가중치를 바꾸지 않고도 기본 모델의 행동을 맞춤화할 수 있다는 점입니다. 그러나 스킬 문서 자체는 최상의 성능을 끌어내기 위해 미세 조정 및 최적화가 필요합니다.

딥러닝이 안정성을 위해 엄격한 수학적 제어를 요구하는 반면, 인간이 수행하는 프롬프트 엔지니어링은 대부분 시행착오에 의존합니다. 피드백을 기반으로 스킬 문서를 자동으로 업데이트하려 할 때, 수학적 규율이 부족하면 텍스트가 매우 불안정해집니다.

마이크로소프트 리서치 아시아의 수석 연구원 SDE인 양이판(Yifan Yang)은 VentureBeat와의 인터뷰에서 “문제는 변경을 하는 것이 아니라, 그 변경이 수학적으로 타당한지를 보장하는 것”이라고 말했습니다.

“팀이 스킬을 바꿀 수 있느냐가 아니라, 그 변화가 개선이라는 것을 보장하지 못한다는 것이 핵심적인 한계점입니다.”
“세 가지 실패 모드가 반복됩니다: 단계 크기 제어가 없어 스킬이 점점 흐트러짐; 검증이 없어 합리적으로 보이는 수정이 들어가 성능이 조용히 퇴보함; 부정적 메모리가 없어 동일한 실패 편집이 계속 재등장함.”

SkillOpt (출처: arXiv)

양은 “수학적으로 검증되지 않은 편집이 성능을 얼마나 급격히 떨어뜨릴 수 있는지”를 보여주기 위해 “제한 없는 재작성으로 GPT‑5.5가 SpreadsheetBench에서 41.8점에서 41.1점으로 하락했다”고 언급했습니다.

양에 따르면 이러한 실패 모드는 다단계 워크플로에서 더욱 증폭됩니다. “최신 모델이 제로샷으로 가장 약한 부분은 추론이 아니라 절차적 규율—포맷, 자체 검증, 도구 정책—이기 때문”이라고 설명했습니다.

SkillOpt 이전에 에이전트 스킬은 주로 수작업으로 제작되었으며, 한 번에 생성하거나 느슨하게 제어된 자체 수정 파이프라인을 통해 진화했습니다. 그러나 피드백 하에서 신뢰성 있게 개선되지 못했습니다.

TextGrad와 GEPA 같은 프롬프트 최적화 방법은 언어 아티팩트를 최적화 가능한 객체로 취급하고 궤적 피드백을 사용해 프롬프트를 진화시키지만, 지속적이고 재사용 가능한 스킬 아티팩트를 생성하는 데는 초점을 맞추지 않습니다.

한편 EvoSkill과 Trace2Skill 같은 스킬 진화·발견 방법은 에이전트 실행 경험을 궤적 교훈으로 변환해 스킬 폴더를 정제하거나 도메인‑특화 라이브러리를 구축하거나 진화적 탐색을 수행합니다.

이들 방법은 학습률, 검증 게이트, 모멘텀 등 딥러닝 스타일의 제어를 적용하지 않으며, 이는 단일하고 컴팩트한 스킬 문서를 지속적으로 학습시키는 데 필수적입니다.

텍스트에 수학적 규율 도입하기

SkillOpt은 모델이 작업을 수행하는 부분과 스킬을 최적화하는 부분을 분리하는 반복적인 제안‑검증 루프를 통해 텍스트 문서를 최적화합니다. 과정은 다음 단계로 전개됩니다:

• 시작: 초기 스킬 문서와 고정된 타깃 모델(또는 하네스)을 준비합니다. 타깃 모델은 작업 배치를 실행해 현재 단계의 증거가 되는 실행 궤적을 생성합니다.
• 오프라인 최적화 모델이 이 궤적을 분석해 성공과 실패를 미니배치로 구분합니다. 미니배치를 살펴보면 모델이 일회성 이상 현상이 아니라 체계적인 절차 오류를 식별할 수 있습니다. 이러한 패턴을 기반으로 최적화 모델은 스킬 문서에 대한 구조적 추가, 삭제, 교체 편집을 제안합니다.
• 제안된 편집은 중복이나 모순을 걸러내기 위해 검토되며, 최적화 모델은 기대 효용에 따라 후보 편집을 순위 매깁니다.
• 편집 예산을 초과하지 않도록, SkillOpt은 해당 단계에서 적용할 최대 편집 수로 리스트를 제한하고 후보 스킬을 생성합니다.
• 후보 스킬은 타깃 모델을 사용해 보류된 검증 세트에서 평가됩니다. 검증 점수가 향상되면 후보가 받아들여져 새로운 현재 스킬이 되고, 그렇지 않으면 편집은 거부되어 부정 피드백 버퍼에 저장됩니다. 이는 최적화 모델이 동일한 실수를 반복하지 않도록 합니다.

SkillOpt은 텍스트를 학습 가능한 객체로 다루는 문제를 딥러닝의 수학적 개념을 도입함으로써 직접 해결합니다. 제작자는 “딥러닝 비유는 장식이 아니라 실제 작동 방식”이라며, 이 프레임워크가 다른 최적화 기법에서 흔히 발생하는 불안정성을 피할 수 있게 한다고 강조했습니다.

SkillOpt 프레임워크 (출처: arXiv)

편집 예산은 학습률과 같은 역할을 합니다. 한 번에 적용할 수 있는 편집 수를 제한함으로써 스킬 버전이 이전 상태에서 과도하게 벗어나는 것을 방지하고, 연속성을 유지하면서 새로운