Marketplace Quality Blitz: 130 Stub Files, 4300 경고, 변명은 없다
발행: (2026년 3월 25일 오후 05:16 GMT+9)
8 분 소요
원문: Dev.to
Source: Dev.to
문제
- 130개의 플러그인이
SKILL.md파일에 템플릿 텍스트만 포함하고 있었습니다(예:[Describe your skill here]). - 해당 파일들은 사용자에게 유용한 정보를 전혀 제공하지 못했으며, 파일이 존재한다는 사실만을 확인시켜 주었습니다.
- 340개가 넘는 플러그인이 있는 마켓플레이스에서 **38 %**가 빈 문서를 제공하고 있었습니다.
왜 중요한가
- 빈
SKILL.md파일은 존재 여부 검사는 통과하지만, 사용자에게 가치가 전혀 없습니다. - 검증 도구는 4 300개 이상의 경고(메타데이터 누락, 스키마 불일치, 문서화되지 않은 매개변수, 잘못된 YAML 헤더)로 넘쳐났습니다.
- 자동화된 품질‑점수 파이프라인이 노이즈가 너무 많아 실행될 수 없었습니다.
솔루션
1. 실제 SKILL.md 파일을 대량 생성
Vertex AI Gemini (무료 티어) 사용 – 10월에 235개의 플러그인 문서를 생성한 동일한 배치 처리 인프라.
파이프라인 단계:
- 각 플러그인의 소스 코드, 설정, 기존 메타데이터를 읽음.
- 전체 소스를 컨텍스트로 Gemini에 프롬프트를 보내 실질적이고 플러그인별
SKILL.md를 생성. - 출력물의 20 % 를 샘플링하여 정확성을 확인한 뒤 병합.
PR #335 가 130개의 교체를 한 번에 커밋하여, 템플릿 스텁을 의미 있는 문서로 전환.
2. 검증기 경고 감소
| 경고 유형 | 설명 | 수행된 조치 |
|---|---|---|
| 메타데이터 필드 누락 | author, license, version 이 매니페스트에 없음 | 기본값 채우기 / 누락된 키 추가 |
| 스키마 버전 불일치 | 플러그인이 오래된 설정 스키마를 참조 | 현재 스키마 버전으로 업데이트 |
| 문서화되지 않은 매개변수 | 함수가 설명 없이 인자를 받음 | 매개변수 문서 추가 |
| 잘못된 YAML 헤더 | 들여쓰기 오류 또는 필수 키 누락 | 포맷 수정 |
- PR #337 로 경고를 4 300+ → 258 로 감소 (94 % 감소).
- 남은 258개의 엣지 케이스는 수동 검토가 필요 (모호한 타입, 폐기된 필드).
3. 자동 플러그인 품질 점수 매기기
Verified Plugins Program 루브릭에 따라 모든 플러그인을 평가하고 배지 등급을 부여하는 검증 파이프라인 도입.
PR #328 이 자동화함:
- 배지 점수 – 문서화, 코드 품질, 유지보수 등에 점수 부여.
- 단축키 중복 제거 – 충돌하는 키보드 단축키 해결.
- 검증 상태 추적 – 기계가 읽을 수 있는 검증 기록 생성.
스텁 교체와 경고 정리 덕분에 94 % 의 플러그인이 기본 검사를 통과하여 점수 매기기 시스템을 원활히 실행할 수 있음.
4. ccti doctor --fix
기존
ccti doctor는 문제만 나열했음.PR #333 에서
--fix플래그를 추가하여 자동 수정 기능을 제공:ccti doctor --fix- 누락된 필수 필드를 합리적인 기본값으로 채움.
- 형식이 잘못된 설정 파일을 재포맷.
- 폐기된 스키마 참조를 업데이트.
이 플래그는 의사결정이 필요한 부분은 여전히 수동 개입이 필요하도록 보수적으로 설계됨.
추가 개선 사항
- Theme toggle – 시스템 기본 설정을 따르고 사용자의 선택을 유지하는 라이트/다크 UI 토글.
- Weekly metrics job – 에코시스템 건강을 추적 (전체 플러그인 수, 검증된 수, 평균 배지 점수, 경고 추세).
- Cross‑platform skill headers (PR #332) – 멀티라인 문자열에 대한 YAML 파서 문제를 해결하여 Windows에서 설치 실패를 방지했습니다.
- Tutorial notebook overhaul (PR #338) – 모든 5개의 스킬 튜토리얼 노트북을 Intent Solutions 표준에 맞게 재작성 (일관된 구조, 작동 예제, 명확한 전제 조건).
- Version bump – 새로운
SKILL.md형식 및 메타데이터 요구사항을 반영하여 Jeremy가 소유한 18개의 플러그인을 1.0.0 → 2.0.0 으로 업그레이드했습니다.
모든 변경 사항은 v4.17.0에 릴리스되었습니다.
영향
| 이번 주 이전 | 이번 주 이후 |
|---|---|
| 플러그인 38 %에 문서가 비어 있었습니다 | 이제 모든 플러그인에 실질적인 SKILL.md가 있습니다 |
| Validator가 4 300개 이상의 경고를 발생시켰습니다 (사용 불가) | 경고가 258개로 감소했습니다 (조치 가능) |
| 품질 점수를 신뢰성 있게 실행할 수 없었습니다 | 자동 점수가 원활히 실행되고, 배지 등급이 할당됩니다 |
| 수동 및 분산된 수정이 필요했습니다 | 중앙화된 도구(ccpi doctor --fix, 배치 AI 생성)가 문제의 80 %를 처리합니다 |
Takeaway: 점진적이고 잘 설계된 수정—문서 생성, validator 정리, 자동 점수 매기기 및 도구—이 결합되어 소음이 많고 품질이 낮은 마켓플레이스를 견고하고 유지 관리 가능한 플랫폼으로 변모시킵니다.
참고 문헌
- Verified Plugins Program: 마켓플레이스를 위한 품질 신호 구축 – 이번 주 자동화를 구동하는 루브릭 및 배지 티어 시스템.
- Scaling AI Batch Processing with Vertex AI Gemini: 130개의
SKILL.md파일을 생성하는 데 사용된 배치 파이프라인.
130개의 스텁 파일을 교체하기 위해 사용된 인프라
Production Release Engineering: v4.5.0 배포 — 마켓플레이스를 위한 자동화된 릴리스 워크플로우