당신의 프롬프트는 vendor lock-in 문제를 가지고 있으며, 이는 plain text에 숨겨져 있습니다
Source: Dev.to
배경
저는 XML 태그(, , 등)와 중첩 구조를 사용해 Claude용 프롬프트를 한동안 작성해 왔습니다. 잘 동작했습니다. 같은 프롬프트를 GPT‑4에 적용했을 때 성능이 떨어지고 망가져서, 모든 것을 Markdown으로 재구성하고 굵은 헤더를 추가했으며 섹션을 평탄화했습니다. 이는 GPT‑4에서는 잘 작동했지만 Claude에서는 성능이 저하되었습니다. 이것은 개인적인 문제가 아니라 연구 결과가 보여주듯 체계적인 현상입니다.
Sclar 등(ICLR 2024)은 프롬프트 템플릿에서 콜론을 제거하면 LLaMA‑2‑13B 정확도가 **82.6 %**에서 **4.3 %**로 떨어진다고 측정했습니다. He 등은 한 모델 패밀리에서 가장 좋은 포맷이 다른 모델에서 가장 좋은 포맷과 겹치는 비율이 20 % 미만이라고 밝혔습니다. 이 현상은 흔히 프롬프트 민감도, 프롬프트 취약성, 혹은 모델 드리프팅이라고 부르지만, 본질적으로는 소프트웨어 모듈 결합과 유사한 결합 문제입니다.
짧게 말하면
프롬프트는 모델에 마치 함수가 다른 모듈의 내부 구현에 결합되는 것처럼 결합되어 있습니다. 의존성을 교체하면 모든 것이 깨지고 원인은 눈에 보이지 않는 포맷에 있습니다.
산업 사례
- Aider는 2,718줄짜리 YAML 파일에 313개의 모델‑특정 구성을 포함하고 있습니다. 대부분의 모델은 시스템 프롬프트 “You NEVER leave comments describing code without implementing it!” 를 받는 반면, Claude‑3.7‑sonnet은 반대 지시를 받아 모델 간 모순된 기대치를 보여줍니다.
- Claude Code는 기본적으로 Claude와만 작동합니다. 개발자들은 프록시 레이어, Node.js 몽키패치, Ollama 호환 shim 등을 구축해 다른 모델에서도 동작하도록 만들었습니다. 일부 벤더는 Anthropic API 스키마를 지원해 Claude Code 사용자 기반을 포착하고 있습니다.
- Cursor는 프롬프트 성능이 떨어질 때 “다른 모델로 전환하고 다시 시도하세요”라고 명시적으로 안내하며, 결합 문제를 인정합니다.
툴링 현황
프롬프트 엔지니어링의 다양한 측면을 다루는 11개의 툴을 조사했습니다:
- DSPy – 프롬프트 내용을 최적화합니다.
- Guidance – 모델 출력에 제약을 가합니다.
- PromptLayer – 프롬프트 버전을 관리합니다.
- Braintrust, Humanloop, Maxim AI, MLflow, Prompty, Promptomatix – 추적, 평가, 워크플로 기능을 제공합니다.
이 툴들은 구조적 포맷 차이(예: XML ↔ Markdown, 섹션 순서, 구분자 교체)를 다루지 않아 생태계에 빈틈이 남습니다.
내 솔루션: promptc
저는 promptc 라는 투명 HTTP 프록시를 만들었습니다. 이 프록시는 애플리케이션과 모델 API 사이에 위치해, 대상 모델의 선호도에 맞게 프롬프트 구조를 재작성합니다(예: XML ↔ Markdown, 섹션 재배열, 구분자 교체). 선택적인 두 번째 단계에서는 로컬 Ollama 모델을 사용해 “Let’s think step by step” 같은 문구를 “ 블록으로 변환할 수 있습니다.
주요 장점
- 기존 설정에 코드를 전혀 변경할 필요가 없습니다.
- 간단한 설정:
ANTHROPIC_BASE_URL=http://localhost:4000로 지정하고 실행하면 됩니다.
형식화
저는 이 결합 문제를 정형화한 논문을 작성했으며, Larry Constantine의 1974년 구조적 설계 작업에서 제시한 결합 분류(내용 결합, 공통 결합, 데이터 결합 등)를 차용했습니다. 논문에는 다음이 포함됩니다:
- 문제에 대한 전면적 분석.
- 기존 툴에 대한 조사.
- Aider, Claude Code, Cursor에 대한 사례 연구.
논문: sharma2026_prompt_coupling.pdf
코드:
피드백을 환영합니다—특히 “당신이 틀렸다는 이유는…” 같은 의견을요.