Claude Code Experiment: 더 많은 토큰이 더 나은 코드를 의미하는 것은 아니다

Source: Dev.to

소개

새해를 맞이하면서 많은 기업들이 생산성을 위해 AI 도구를 가속화하고 있으며, 종종 토큰 사용량을 AI 도입의 지표로 활용하고 있습니다. Anthropic의 “Claude Code in Action” 과정을 마친 뒤, 나는 간단한 가설을 테스트해 보기로 했습니다:

가설: Claude Code 기능은 수확 체감 곡선을 따릅니다—어느 시점 이후에는 더 많은 토큰이 더 나은 코드를 만들어내지 못합니다.

실험 개요

나는 서로 다른 Claude Code 기법을 사용해 CLI 틱‑택‑토 게임을 네 번 만들었습니다. 각 실행마다 토큰 사용량을 기록하고, QA 에이전트를 실행해 버그를 찾으며, 시니어 엔지니어 역할을 프롬프트해 코드 품질을 평가했습니다. 이 데이터를 바탕으로 품질‑당‑토큰 (QPT) 지표를 도출해 기법들을 비교했습니다.

테스트한 기법

모든 실행은 claude --verbose 옵션을 사용해 토큰 수를 캡처했습니다. 각 실험마다 새로운 Claude 세션을 시작했습니다.

실험 상세

1. Zero‑shot 프롬프트

Can you create a CLI tic tac toe game using vanilla javascript with minimal dependencies? I would like it to be tested using jest and I would like it to be good quality code using classes.

2. Plan Mode

--plan

3. CLAUDE.md 컨텍스트 파일

프로젝트 디렉터리에 CLAUDE.md 파일을 배치했습니다 (아래 예시 참고).

실행 명령:

create the game

4. CLAUDE.md + Plan Mode

--plan create the game

품질 평가

역할 기반 프롬프트를 사용해 생성된 코드를 점수화했습니다:

You are a senior engineer, can you assess this code for quality and give it a score 1‑5 on correctness, clarity, structure, maintainability, and extendability? Return the average of the scores.

수동 QA 에이전트

test.js 파일( gist 참고) 을 이용해 에이전트가 10번의 게임을 플레이하고 버그를 보고하도록 했습니다. 네 번의 반복 모두 버그가 0개로 보고되었습니다.

결과

결론

가설은 부분적으로 확인되었습니다: 토큰 사용량이 가장 적은 접근법(CLAUDE.md만 사용)이 가장 높은 품질을 제공했습니다. 토큰 사용량이 증가함에 따라 품질은 정체하거나 감소했습니다. 이는 컨텍스트 품질이 순수 토큰 양보다 더 중요하다는 것을 시사합니다.

“Context is Currency… If you don’t give the model the right background and constraints, it will confidently give you the wrong answer.” — Rani Zilpelwar

AI 도입 이후 다음 물결은 AI 투자 수익률 최적화에 초점을 맞출 것이며, 컨텍스트 엔지니어링에 강하게 집중할 것입니다. 잘 구조화된 컨텍스트가 단순히 더 많은 토큰을 공급하는 것보다 더 나은 결과를 도출하는 것으로 보입니다.

표지 아트: Giacinto Gimignani가 1852년에 그린 “Urania”