에이전트 스킬을 통한 지식 격차 해소

Source: Google Developers Blog

우리가 만든 것

Gemini API로 코딩 에이전트를 돕기 위해, 우리는 다음과 같은 기능을 제공하는 스킬을 만들었습니다:

• API의 고수준 기능 세트를 설명합니다,
• 각 언어별 현재 모델 및 SDK를 소개합니다,
• 각 SDK에 대한 기본 샘플 코드를 시연합니다, 그리고
• 문서의 진입점을 나열합니다 (진실의 원천으로서).

이 기본적인 원시 명령 세트는 에이전트가 최신 모델과 SDK를 사용하도록 안내하면서, 진실의 원천인 문서에서 최신 정보를 가져오도록 유도합니다.

스킬은 GitHub에서 확인할 수 있으며, 프로젝트에 직접 설치할 수도 있습니다:

# Vercel 스킬로 설치
npx skills add google-gemini/gemini-skills --skill gemini-api-dev --global

# Context7 스킬로 설치
npx ctx7 skills install /google-gemini/gemini-skills gemini-api-dev

Skill tester

우리는 Gemini SDK를 사용하여 Python 또는 TypeScript 코드를 생성하는 117개의 프롬프트로 평가 하네스를 만들었습니다. 이 프롬프트들은 에이전시 코딩 작업, 챗봇 구축, 문서 처리, 스트리밍 콘텐츠, 특정 SDK 기능 등 다양한 카테고리를 다룹니다.

테스트는 두 가지 모드에서 실행되었습니다:

1. Vanilla – 모델에 직접 프롬프트를 전달합니다.
2. With skill – 모델이 Gemini CLI에서 사용되는 동일한 시스템 지시문(소스 참고)과 두 가지 도구 activate_skill 및 fetch_url(문서 다운로드용)을 받습니다.

Top‑line results

• 최신 Gemini 3 시리즈 모델은 gemini-api-dev 스킬을 추가했을 때 뛰어난 결과를 보여줍니다. 3.0 Pro와 Flash는 6.8 %에서, 3.1 Pro는 28 %에서 향상되었습니다.
• 이전 2.5 시리즈도 이점을 얻지만 정도는 다소 낮습니다. 강력한 추론 지원을 갖춘 최신 모델을 사용하는 것이 눈에 띄는 차이를 만듭니다.

모든 카테고리가 잘 수행되었습니다

스킬을 추가하는 것이 최고 성능 모델(gemini-3.1-pro-preview)의 거의 모든 도메인에서 효과적이었습니다.

SDK 사용은 95 %로 가장 낮은 통과율을 보였습니다. 실패한 프롬프트는 다양한 작업에 걸쳐 있으며, 어려운 혹은 불명확한 요청을 포함하고, 특히 Gemini 2.0 모델을 명시적으로 요청하는 프롬프트도 포함됩니다.

모든 모델에서 실패한 SDK 사용 카테고리의 예시:

Python API를 Gemini 2.0 Flash 모델과 함께 사용할 때, 출력이 꽤 길면 반환된 내용이 전체가 아니라 출력 청크 배열 형태로 제공됩니다. 스트리밍 입력이 적용된 것 같은데, 이를 끄고 전체 출력을 한 번에 받으려면 어떻게 해야 하나요?

Skill issues

These initial results are encouraging, but we know from Vercel’s work that direct instruction through AGENTS.md can be more effective than using skills. Consequently, we are exploring other ways to supply live knowledge of SDKs, such as directly using MCPs for documentation.

Skill simplicity is a huge benefit, yet there isn’t a robust skill‑update story beyond manual user updates. In the long term, stale skill information could remain in users’ workspaces, potentially causing more harm than good.

Despite these minor issues, we’re excited to start using skills in our workflows. The Gemini API skill is still fairly new, but we’ll keep it maintained as we push model updates and explore avenues for improvement. Follow Mark and Phil for updates as we tune the skill, and don’t forget to try it out and share your feedback.