Marketplace Quality Blitz: 130 Stub Files, 4300 경고, 변명은 없다
발행: (2026년 3월 25일 PM 05:16 GMT+9)
8 분 소요
원문: Dev.to
Source: Dev.to
문제
- 130개의 플러그인이
SKILL.md파일에 템플릿 텍스트만 포함하고 있었습니다(예:[Describe your skill here]). - 해당 파일들은 사용자에게 유용한 정보를 전혀 제공하지 못했으며, 파일이 존재한다는 사실만을 확인시켜 주었습니다.
- 340개가 넘는 플러그인이 있는 마켓플레이스에서 **38 %**가 빈 문서를 제공하고 있었습니다.
왜 중요한가
- 빈
SKILL.md파일은 존재 여부 검사는 통과하지만, 사용자에게 가치가 전혀 없습니다. - 검증 도구는 4 300개 이상의 경고(메타데이터 누락, 스키마 불일치, 문서화되지 않은 매개변수, 잘못된 YAML 헤더)로 넘쳐났습니다.
- 자동화된 품질‑점수 파이프라인이 노이즈가 너무 많아 실행될 수 없었습니다.
솔루션
1. 실제 SKILL.md 파일을 대량 생성
-
Vertex AI Gemini (무료 티어) 사용 – 10월에 235개의 플러그인 문서를 생성한 동일한 배치 처리 인프라.
-
파이프라인 단계:
- 각 플러그인의 소스 코드, 설정, 기존 메타데이터를 읽음.
- 전체 소스를 컨텍스트로 Gemini에 프롬프트를 보내 실질적이고 플러그인별
SKILL.md를 생성. - 출력물의 20 % 를 샘플링하여 정확성을 확인한 뒤 병합.
-
PR #335 가 130개의 교체를 한 번에 커밋하여, 템플릿 스텁을 의미 있는 문서로 전환.
2. 검증기 경고 감소
| 경고 유형 | 설명 | 수행된 조치 |
|---|---|---|
| 메타데이터 필드 누락 | author, license, version 이 매니페스트에 없음 | 기본값 채우기 / 누락된 키 추가 |
| 스키마 버전 불일치 | 플러그인이 오래된 설정 스키마를 참조 | 현재 스키마 버전으로 업데이트 |
| 문서화되지 않은 매개변수 | 함수가 설명 없이 인자를 받음 | 매개변수 문서 추가 |
| 잘못된 YAML 헤더 | 들여쓰기 오류 또는 필수 키 누락 | 포맷 수정 |
- PR #337 로 경고를 4 300+ → 258 로 감소 (94 % 감소).
- 남은 258개의 엣지 케이스는 수동 검토가 필요 (모호한 타입, 폐기된 필드).
3. 자동 플러그인 품질 점수 매기기
-
Verified Plugins Program 루브릭에 따라 모든 플러그인을 평가하고 배지 등급을 부여하는 검증 파이프라인 도입.
-
PR #328 이 자동화함:
- 배지 점수 – 문서화, 코드 품질, 유지보수 등에 점수 부여.
- 단축키 중복 제거 – 충돌하는 키보드 단축키 해결.
- 검증 상태 추적 – 기계가 읽을 수 있는 검증 기록 생성.
-
스텁 교체와 경고 정리 덕분에 94 % 의 플러그인이 기본 검사를 통과하여 점수 매기기 시스템을 원활히 실행할 수 있음.
4. ccti doctor --fix
-
기존
ccti doctor는 문제만 나열했음. -
PR #333 에서
--fix플래그를 추가하여 자동 수정 기능을 제공:ccti doctor --fix- 누락된 필수 필드를 합리적인 기본값으로 채움.
- 형식이 잘못된 설정 파일을 재포맷.
- 폐기된 스키마 참조를 업데이트.
-
이 플래그는 의사결정이 필요한 부분은 여전히 수동 개입이 필요하도록 보수적으로 설계됨.
추가 개선 사항
- Theme toggle – 시스템 기본 설정을 따르고 사용자의 선택을 유지하는 라이트/다크 UI 토글.
- Weekly metrics job – 에코시스템 건강을 추적 (전체 플러그인 수, 검증된 수, 평균 배지 점수, 경고 추세).
- Cross‑platform skill headers (PR #332) – 멀티라인 문자열에 대한 YAML 파서 문제를 해결하여 Windows에서 설치 실패를 방지했습니다.
- Tutorial notebook overhaul (PR #338) – 모든 5개의 스킬 튜토리얼 노트북을 Intent Solutions 표준에 맞게 재작성 (일관된 구조, 작동 예제, 명확한 전제 조건).
- Version bump – 새로운
SKILL.md형식 및 메타데이터 요구사항을 반영하여 Jeremy가 소유한 18개의 플러그인을 1.0.0 → 2.0.0 으로 업그레이드했습니다.
모든 변경 사항은 v4.17.0에 릴리스되었습니다.
영향
| 이번 주 이전 | 이번 주 이후 |
|---|---|
| 플러그인 38 %에 문서가 비어 있었습니다 | 이제 모든 플러그인에 실질적인 SKILL.md가 있습니다 |
| Validator가 4 300개 이상의 경고를 발생시켰습니다 (사용 불가) | 경고가 258개로 감소했습니다 (조치 가능) |
| 품질 점수를 신뢰성 있게 실행할 수 없었습니다 | 자동 점수가 원활히 실행되고, 배지 등급이 할당됩니다 |
| 수동 및 분산된 수정이 필요했습니다 | 중앙화된 도구(ccpi doctor --fix, 배치 AI 생성)가 문제의 80 %를 처리합니다 |
Takeaway: 점진적이고 잘 설계된 수정—문서 생성, validator 정리, 자동 점수 매기기 및 도구—이 결합되어 소음이 많고 품질이 낮은 마켓플레이스를 견고하고 유지 관리 가능한 플랫폼으로 변모시킵니다.
참고 문헌
- Verified Plugins Program: 마켓플레이스를 위한 품질 신호 구축 – 이번 주 자동화를 구동하는 루브릭 및 배지 티어 시스템.
- Scaling AI Batch Processing with Vertex AI Gemini: 130개의
SKILL.md파일을 생성하는 데 사용된 배치 파이프라인.
130개의 스텁 파일을 교체하기 위해 사용된 인프라
Production Release Engineering: v4.5.0 배포 — 마켓플레이스를 위한 자동화된 릴리스 워크플로우