당신의 프롬프트가 모르는 사이에 길어지고 있어요 (그리고 여백을 갉아먹고 있습니다)

Source: Dev.to

문제 개요

최근 LLM 청구 패턴을 살펴보니, 거의 모든 팀에 몰래 다가오는 프롬프트 인플레이션이라는 숨은 위험 요소가 있습니다.

AI 기능을 처음 만들 때 프롬프트는 꽉 짜여 있습니다—시스템 지시문에 500 토큰, 사용자 질의에 100 토큰 정도. 계산은 훌륭해 보이죠: “호출당 몇 센트도 안 되는 비용이 들 거야,” 라고 팀에 말합니다.

원인

• 대화 기록을 추가해 봇을 “더 똑똑하게” 만들려는 경우.
• 대규모 RAG 컨텍스트 블록을 한 번의 환각 이후에 넣은 경우.
• 포맷팅 지시를 제품팀이 요구해 시스템 프롬프트가 2,000 단어짜리 에세이로 늘어난 경우.

이러한 변화는 기본 요청을 8 k 토큰까지 끌어올릴 수 있습니다.

비용에 미치는 영향

• 사용자 가치가 프롬프트 크기와 선형적으로 증가하지 않지만, OpenAI 청구는 그렇습니다.
• 규모가 커지면 요청당 $0.005에서 $0.05 이상으로 비용이 급증할 수 있습니다.
• 월별 대시보드에는 사용량 증가만 보이고, 마진이 침식되고 있다는 사실은 가려집니다.
• 추적 없이 “성장이 좋다”는 생각을 할 수 있지만, Stripe 정산 시 마진이 사라진 것을 발견하게 됩니다.

권장 조치

1. 총 지출이 아니라 사용자당 비용과 기능당 비용을 추적하세요.
2. 높은 비용을 초래하는 특정 사용자를 식별하세요; 이들은 아마도 거대한 컨텍스트 윈도우를 쌓아두고 있어 잘라내야 합니다.
3. 프롬프트 크기를 정기적으로 모니터링하세요; 시간이 지나면서 변한다는 전제하에 관리합니다.

도구: LLMeter

저도 바로 이 문제에 직면했기에 **LLMeter**를 만들었습니다. 오픈소스이며 프록시 없이 사용자‑ID 수준까지 비용을 추적할 수 있어, 누가 10 k 토큰 히스토리를 끌고 다니는지 확인할 수 있습니다.

프롬프트가 처음과 같은 크기라고 가정하지 마세요. 추적하세요.