프로파일링 Claude Converstaions

Source: Dev.to

개요

궁극적인 흐름 차단기입니다. IDE를 열고 복잡한 리팩터링을 위해 세 번, 네 번 정도는 잘 진행되지만—뾰족하게.

“오전 4시까지 메시지 제한에 도달했습니다.”

뭔가 잘못된 느낌입니다. 방금 시작했는데 왜 이미 한도가 비었나요? 하루에 $50 상당의 토큰을 소모하면서 이 현상을 너무 자주 겪다 보니, 대화의 내부가 어떻게 돌아가는지 전혀 알 수 없었습니다.

그래서 Intern을 만들었습니다. Claude와의 상호작용을 추적하고, 자원을 어떻게 소비하고 있는지에 대한 휴리스틱 기반 프로파일을 제공하는 도구입니다.

Intern은 투명한 프록시 역할을 합니다. Claude 코드 트래픽을 Intern을 통해 전달하면, 모든 대화의 영구적인 히스토리를 저장합니다. 이를 통해 제한을 초과시킨 세션에서 정확히 무슨 일이 일어났는지 되돌아가서 분석할 수 있습니다.

휴리스틱 프로파일: 현실 점검

프로젝트의 핵심은 profile 명령어입니다. 원시 대화 트레이스를 받아 휴리스틱 분석을 적용해 “작업”을 분류합니다.

제가 $18이 든 “짧은” 세션을 프로파일링했을 때 Intern이 보여준 내용은 다음과 같습니다:

=== Cost Report ===
MODEL                      MSGS   INPUT     OUTPUT    CACHE READ   TOTAL
claude-opus-4-6            233    $0.0400   $1.9850   $11.2288     $17.8246

=== Complexity Breakdown ===
COMPLEXITY  COUNT  %
mechanical  196    70.0%
reasoning   69     24.6%
trivial     15     5.4%

=== Tool Usage (322 total calls) ===
TOOL            COUNT   %      BAR
----            -----   -      ---
Bash            110     34.2%  █████████████████
Read            67      20.8%  ██████████
Edit            49      15.2%  ███████

Intern이 실제로 보여주는 내용

• Mechanical vs. Reasoning – 메시지의 70 %가 순수하게 기계적(파일 I/O, bash 명령)였습니다. 고급 추론 한도를 벽돌 쌓기 작업에 사용하고 있었죠.
• Cache Tax – $11.22는 Claude가 컨텍스트를 재읽는 데만 사용되었습니다. 시스템 프롬프트를 변경하거나 중간에 큰 파일을 로드하면 즉시 금전적·속도 제한이 급증합니다.
• Trace Persistence – Intern은 모든 내용을 .jsonl 파일에 저장하므로, 몇 주에 걸친 패턴을 분석해 “토큰을 많이 잡아먹는” 부분을 식별할 수 있습니다.
• Offload Candidates – 프로파일러는 “trivial” 혹은 “tool continuation” 메시지를 표시해, 품질을 크게 희생하지 않으면서 더 가벼운 모델로 처리할 수 있음을 제안합니다.

자신의 워크플로우를 프로파일링하는 방법

설치는 비침투적이며 작업 흐름을 방해하지 않습니다.

Intern CLI 도구 설치

brew tap abhishekjha17/intern
brew install intern

macOS가 아닌 플랫폼의 경우, 저장소에 있는 설치 가이드를 참고하세요.

프록시 실행

intern proxy
# Example output:
# 2026/04/17 13:29:08 intern proxy listening on :11411 → https://api.anthropic.com (traces → /Users/abhi17/.intern/traces/traces.jsonl)

Intern을 통해 Claude 시작

export ANTHROPIC_BASE_URL=http://localhost:11411
claude

Intern은 작업 중에 모든 요청과 응답을 조용히 기록합니다.

휴리스틱 보고서 실행

속도 제한에 걸리면 다음 명령으로 분석합니다:

intern profile .intern/traces/traces.jsonl

선택

대화를 추적하는 것은 단순히 비용을 파악하는 것이 아니라, 워크플로우 경로에 대한 통제권을 되찾는 일입니다. 세션 중 어느 부분이 순수히 기계적인지 확인하면, 그 부분을 더 저렴하거나 로컬 모델로 옮겨 처리할 수 있습니다. 하나의 비싸고 제한이 많은 모델에 얽매이지 않고, 언제 어떤 모델이 컨텍스트를 사용할 가치가 있는지 직접 결정할 수 있게 됩니다.

프로젝트

abhishekjha17/intern