에이전트 스킬로 지식 격차 해소

Source: Google Developers Blog

대형 언어 모델(LLM)은 특정 시점에 학습되어 고정된 지식을 가지고 있습니다. 소프트웨어 엔지니어링 실무는 빠르게 변화하며, 매일 새로운 라이브러리가 출시되고 모범 사례가 신속하게 진화합니다.

이로 인해 언어 모델이 스스로 해결할 수 없는 지식 격차가 생깁니다. Google DeepMind에서는 이 현상을 몇 가지 방식으로 관찰합니다. 모델은 학습 시점에 자신에 대한 정보를 알지 못하고, 미묘한 모범 사례 변화(예: thought circulation)나 SDK 업데이트를 반드시 인식하지도 못합니다.

웹 검색 도구부터 전용 MCP 서비스까지 다양한 솔루션이 존재하지만, 최근에는 agent skills가 매우 가볍지만 효과적으로 이 격차를 메울 수 있는 방법으로 떠오르고 있습니다.

모델 구축자 입장에서 구현할 수 있는 전략도 있지만, 우리는 모든 SDK 유지보수자가 활용할 수 있는 방안을 탐구하고자 했습니다. 아래는 우리가 Gemini API developer skill을 구축하면서 수행한 내용과 성능에 미친 결과입니다.

우리가 만든 것

Gemini API를 사용하여 코딩 에이전트를 지원하기 위해, 우리는 다음과 같은 기능을 갖춘 스킬을 만들었습니다:

• API의 고수준 기능 세트를 설명합니다,
• 각 언어별 현재 모델 및 SDK를 설명합니다,
• 각 SDK에 대한 기본 샘플 코드를 시연합니다,
• 문서 진입점을 나열합니다(진실의 출처로서).

이러한 기본 지침은 에이전트가 최신 모델과 SDK를 사용하도록 안내하고, 문서를 참조하여 진실의 출처에서 최신 정보를 가져오도록 장려합니다.

이 스킬은 GitHub에서 이용 가능하거나 프로젝트에 직접 설치할 수 있습니다:

# Install with Vercel skills
npx skills add google-gemini/gemini-skills --skill gemini-api-dev --global

# Install with Context7 skills
npx ctx7 skills install /google-gemini/gemini-skills gemini-api-dev

스킬 테스터

우리는 Gemini SDK를 사용하여 Python 또는 TypeScript 코드를 생성하는 117개의 프롬프트로 평가 하네스를 만들었습니다. 프롬프트는 에이전시 코딩 작업, 챗봇 구축, 문서 처리, 스트리밍 콘텐츠, 특정 SDK 기능 등과 같은 카테고리를 다룹니다.

테스트는 두 가지 모드에서 실행되었습니다:

1. Vanilla – 모델에 직접 프롬프트를 전달.
2. Skill‑enabled – 모델이 Gemini CLI에서 사용되는 동일한 시스템 지시문(see source)과 두 가지 도구: activate_skill 및 fetch_url(문서 다운로드용)을 받음.

프롬프트가 우리 오래된 SDK 중 하나를 사용하면 실패로 간주됩니다.

스킬은 작동하지만 추론이 필요합니다

주요 결과

• 최신 Gemini 3 시리즈 모델은 gemini-api-dev 스킬을 사용하여 뛰어난 결과를 달성했으며, 스킬이 없을 때의 낮은 기준치에서 크게 개선되었습니다 (3.0 Pro와 Flash 모두 6.8 %, 3.1 Pro는 28 %).
• 이전 2.5 시리즈도 이점을 얻지만, 그 정도는 덜합니다. 강력한 추론 지원이 있는 최신 모델을 사용하면 눈에 띄는 차이가 있습니다.

모든 카테고리가 좋은 성과를 보였습니다

Adding the skill was effective across almost all domains for the top‑performing model (gemini-3.1-pro-preview).

SDK 사용이 가장 낮은 통과율인 95 %를 기록했습니다. 실패한 프롬프트는 어려운 또는 불명확한 요청을 포함한 다양한 작업에 걸쳐 있으며, 특히 Gemini 2.0 모델을 명시적으로 요청하는 경우가 눈에 띕니다.

실패한 SDK 사용 프롬프트 예시

Python API를 Gemini 2.0 Flash 모델과 함께 사용할 때 출력이 꽤 길면, 반환된 내용이 전체가 아니라 출력 청크 배열 형태로 제공됩니다. 스트리밍 입력이 진행된 것 같은데, 이를 어떻게 끄고 전체 출력을 한 번에 받을 수 있을까요?

스킬 문제

이 초기 결과는 고무적이지만, Vercel의 작업에서 알 수 있듯이 AGENTS.md를 통한 직접 지시가 스킬을 사용하는 것보다 더 효과적일 수 있습니다. 따라서 우리는 SDK에 대한 실시간 지식을 제공하는 다른 방법, 예를 들어 문서화를 위해 MCP를 직접 사용하는 방안을 탐색하고 있습니다.

스킬의 단순성은 큰 장점이지만, 견고한 스킬‑업데이트 체계가 없어 사용자가 직접 업데이트해야 합니다. 장기적으로는 오래된 스킬 정보가 사용자 워크스페이스에 남아 있어 오히려 해를 끼칠 수 있습니다.

이러한 사소한 문제에도 불구하고, 우리는 워크플로우에 스킬을 도입하게 되어 기대됩니다. Gemini API 스킬은 아직 비교적 새롭지만, 모델 업데이트를 진행하고 개선 방안을 모색하면서 지속적으로 유지 관리할 예정입니다. 업데이트 소식은 Mark와 Phil을 팔로우하고, 직접 사용해 보며 시도해 보기와 피드백 공유를 잊지 마세요.