Umbraco CMS 개발자 MCP를 위한 올바른 LLM 선택: 빠른 비용 및 성능 분석

Source: Dev.to

(번역할 텍스트가 제공되지 않았습니다. 번역이 필요한 본문을 알려주시면 한국어로 번역해 드리겠습니다.)

효율성이 중요한 이유

우리가 지난해 말에 개념 증명 단계에서 벗어나 실제 적용을 시작했을 때, 다음과 같은 질문들이 떠올랐습니다:

• Claude Pro나 ChatGPT Plus와 같은 구독 기반 서비스에서는 비효율성이 종종 숨겨져 있습니다. 고정 요금을 내고 각 작업의 실제 비용을 보지 못합니다.
• 청구서가 변하지 않으면 효율성을 무시하기 쉽습니다—하지만 사용 한도에 도달하거나 워크플로 도중에 속도가 제한될 때는 상황이 달라집니다.

세 가지 핵심 요인

1. 속도 = 마찰 – 워크플로가 20 초가 아니라 40 초가 걸린다면 단순히 느린 것이 아니라, 개발자는 집중력을 잃고, 컨텍스트 전환을 하거나 도구 자체를 포기하게 됩니다.
2. 토큰이 많을수록 연산량이 증가 –
   • 지연 시간 증가 – 토큰 하나당 처리 시간이 늘어납니다.
   • 한도 소모 가속 – 구독 서비스와 API 모두 토큰 상한이 있습니다.
   • 비효율성 누적 – 낭비되는 프롬프트가 모든 작업에 걸쳐 곱해집니다.
3. 숨겨진 비용이 드러남 –
   • 규모가 커지면 → 구독 한도에 도달하고, 속도 제한이 적용됩니다.
   • 여러 명이 사용하면 → 한 개발자에게는 괜찮던 것이 팀 전체에서는 비용이 크게 증가합니다.
   • API 요금제로 전환하면 → 토큰당 과금 모델이 모든 비효율을 즉시 노출합니다.

$3와 $13 per 1 000 operations 사이의 차이는 지속 가능한 도구와 비용이 많이 드는 실험 사이의 차이입니다.

효율적인 프롬프트와 더 적은 토큰으로 추론할 수 있는 모델은 모든 작업에서 절감 효과를 누적시킵니다.

Computational Sustainability

더 효율적인 모델은 토큰 수와 시간을 적게 사용하여 작업을 완료하므로 환경 발자국이 작아집니다. 수천 개의 AI 작업을 실행할 때, 모델이 30 % 더 빠르면 단순히 몇 초를 절약하는 것이 아니라 책임 있는 자원 사용과 관련됩니다.

Claude Agent SDK로 가시성 확보

우리는 최근 Claude Agent SDK를 평가 테스트 스위트(웹사이트 수용 테스트와 유사)와 통합했습니다. 이를 통해 AI 기반 워크플로우에서 실제로 무슨 일이 일어나는지 가시성을 확보할 수 있었습니다.

각 테스트 실행마다 이제 다음을 추적합니다:

이 데이터는 다양한 모델이 Umbraco MCP에서 어떻게 수행되는지에 대한 우리의 이해를 크게 바꿨습니다.

프롬프트 엔지니어링: 의도적인 최적화

우리는 단순히 프롬프트를 모델에 던지고 최선을 기대하는 것이 아닙니다. 우리의 평가 프롬프트는 작고 빠른 모델에 맞게 의도적으로 최적화되었습니다.

구체적인 예시

• 명시적인 작업 목록 – 개방형 지시 대신 번호가 매겨진 단계.
• 명확한 변수 추적 – “폴더 ID를 나중에 사용할 수 있도록 저장하세요”와 같이 모델이 추론할 것이라고 가정하지 않음.
• 구체적인 도구 안내 – “3단계의 이미지 ID를 사용하고, 폴더 ID는 사용하지 마세요”와 같이 혼동을 방지.
• 정의된 성공 기준 – 완료 시 출력해야 할 정확한 문자열 지정.

우리는 구조화되고 명확한 지시를 제공함으로써 모델의 인지 부하를 줄이고, 작은 모델도 신뢰성 있게 따를 수 있도록 합니다.

Trade‑off: 더 자세한 프롬프트 → 모델 계층 전반에 걸친 일관된 결과.

그리고 실제로 효과가 있습니다—프롬프트가 명확하면 Umbraco MCP는 작고 빠른 모델에서도 좋은 성능을 보여줍니다.

테스트 시나리오

우리의 테스트 스위트는 아직 제한적이며—초기 단계에 있습니다. 이는 엄격한 벤치마크라기보다 흥미로운 실험으로 보세요. 그렇긴 하지만, 우리는 두 가지 대표 시나리오를 설계했습니다:

1. 기본 3단계 작업 – 데이터 유형 폴더를 생성하고, 존재 여부를 확인한 뒤, 삭제합니다.
2. 10단계 미디어 수명 주기 – 폴더 생성, 이미지 업로드, 메타데이터 업데이트, 참조 확인, 휴지통으로 이동, 복원, 이미지 영구 삭제, 폴더 삭제.

복잡한 워크플로우 테스트는 다음과 같습니다:

const TEST_PROMPT = `Complete these tasks in order:
1. Get the media root to see the current structure
2. Create a media folder called "_Test Media Folder" at the root
   - IMPORTANT: Save the folder ID returned from this call for later use
3. Create a test image media item INSIDE the new folder with name "_Test Image"
   - Use the folder ID from step 2 as the parentId
   - IMPORTANT: Save the image ID returned from this call
4. Update the IMAGE to change its name to "_Test Image Updated"
   - Use the image ID from step 3, NOT the folder ID
5. Check if the IMAGE is referenced anywhere
6. Move the IMAGE to the recycle bin
   - Use the image ID from step 3, NOT the folder ID
7. Restore the IMAGE from the recycle bin
8. Delete the IMAGE permanently
9. Delete the FOLDER
10. When complete, say 'The media lifecycle workflow has completed successfully'`;

프롬프트가 얼마나 명시적인지 보세요—모델에게 정확히 무엇을 해야 하는지, 어떤 ID를 추적해야 하는지, 혼동을 피하기 위해 무엇을 피해야 하는지를 알려줍니다. 이것이 작은 모델도 성공할 수 있게 하는 핵심입니다.

Claude 모델별 결과

우리는 다섯 가지 Claude 모델에 대해 각 워크플로를 여러 번 실행했습니다:

핵심 발견: Haiku 4.5는 간단한 작업을 Haiku 3.5보다 약 40 % 빠르게 수행하면서 비용은 비슷하게 유지했습니다.

요약

프롬프트 최적화, 지표 추적, 그리고 적절한 모델 선택을 통해 AI 기반 Umbraco MCP를 빠르고 비용 효율적이며 지속 가능한 컴퓨팅 발자국을 향해 나아가게 만들 수 있습니다.

모델 성능 요약

핵심 발견: 모든 모델이 복잡한 워크플로를 정확히 11턴에 완료했습니다 – 작업의 복잡도가 턴 수를 정규화했습니다. 실행 시간과 비용은 크게 달랐습니다.

중요한 주의사항

• 결과는 소수의 테스트 실행을 기반으로 하며 통계적으로 유의미하지 않습니다.
• 프롬프트는 소형 모델에 맞게 크게 최적화되었으며, 덜 명시적인 프롬프트는 대형 모델에 유리할 수 있습니다.
• 이는 탐색적 분석이며, 확정적인 권고가 아닙니다.

Umbraco MCP 워크로드에 대한 권장 사항

우리의 특정 Umbraco MCP 워크로드에서 잘 구조화된 프롬프트를 사용할 경우, Claude Haiku 4.5 (claude‑haiku‑4‑5‑20251001)는 다음과 같은 결과를 보여주었습니다:

• 31 % 더 빠른 실행 속도 (복잡한 워크플로에서 Haiku 3.5 대비).
• 44‑49 % 더 빠른 속도 (Sonnet 및 Opus 모델 대비).
• 모든 테스트에서 최고의 비용‑성능 비율을 기록했습니다.

더 큰 모델이 빛을 발하지 못한 이유

• 동일한 턴 수: 복잡한 워크플로는 모델에 관계없이 11턴이 필요했습니다.
• 턴당 높은 지연 시간: 더 큰 모델은 상호작용당 더 많은 지연을 초래했습니다.
• 2‑4배 높은 비용: 속도나 품질에서 그에 상응하는 이점이 없었습니다.

명시적인 프롬프트가 포함된 구조화된 MCP 툴 호출 작업에서는, 더 큰 모델의 추가적인 추론 능력이 성능 향상으로 이어지지 않았습니다. 작업이 명확히 정의되고 툴이 문서화되어 있었으며, Haiku가 이를 효율적으로 처리했습니다.

100회 작업당 비용

예시: 월 1,000 AI‑지원 작업

• Haiku 4.5: ≈ $36 / month
• Opus 4.5: ≈ $134 / month

그 비용은 성능이 느린 경우 거의 4배에 해당합니다.

업데이트된 기본 모델

이 분석에 따르면, Umbraco MCP의 기본 평가 모델이 이제 Claude Haiku 4.5입니다.

MCP 기반 워크플로우 구축을 위한 실용적인 가이드

1. Haiku 4.5부터 시작하세요 – 빠르고, 성능이 뛰어나며, 비용 효율적입니다.
2. 프롬프트 엔지니어링에 투자하세요 – 명확하고 잘 구조화된 프롬프트는 대형 모델에 대한 의존도를 낮춥니다. 프롬프트가 일부 추론을 수행하도록 하세요.
3. 업그레이드하기 전에 측정하세요 – 더 큰 모델이 귀하의 사용 사례에 더 좋다고 가정하지 마세요.
4. 지표를 추적하세요 – Agent SDK(또는 유사 도구)를 사용해 실제 비용과 성능을 모니터링하세요.

최적화 여정의 다음 단계

• 평가 스위트에 더 복잡한 다중 엔터티 워크플로우를 추가합니다.
• 경계 사례 및 오류 복구 시나리오를 테스트합니다.
• 작은 모델에서 최대 효율을 위해 프롬프트를 지속적으로 다듬습니다.

핵심 요점

Umbraco MCP는 프롬프트가 명확할 경우, 더 작고 빠른 모델에서도 잘 작동합니다. CMS를 효과적으로 관리하기 위해 가장 비싼 LLM이 필요하지 않습니다—명확한 프롬프트와 잘 설계된 도구의 조합이 핵심입니다.

분석 날짜: 2025년 1월
툴링: 로컬 Umbraco 17 인스턴스에 대한 Claude Agent SDK.
참고: 네트워크 지연, Umbraco 구성 및 워크플로우 복잡성에 따라 결과가 달라질 수 있습니다.