Claude Token Counter, 이제 모델 비교 포함

Source: Hacker News

Claude 토큰 카운터, 이제 모델 비교 기능 추가

저는 Claude 토큰 카운터 도구를 업그레이드하여 서로 다른 모델에 대해 동일한 카운트를 실행하고 비교할 수 있는 기능을 추가했습니다.

제가 알기로는 Claude Opus 4.7이 토크나이저를 처음으로 변경한 모델이므로, 4.7과 4.6 사이의 비교만 수행하는 것이 의미가 있습니다. Claude 토큰‑카운팅 API는 모든 Claude 모델 ID를 허용하므로, 현재 주목받는 네 모델( Opus 4.7 및 4.6, Sonnet 4.6, Haiku 4.5) 모두에 대한 옵션을 포함했습니다.

Opus 4.7의 토크나이저 변경

Opus 4.7 발표에서, Anthropic은 이렇게 말했습니다:

Opus 4.7은 모델이 텍스트를 처리하는 방식을 개선한 업데이트된 토크나이저를 사용합니다. 그 대가로 동일한 입력이 더 많은 토큰으로 매핑될 수 있습니다—콘텐츠 유형에 따라 대략 1.0–1.35배입니다.

저는 Opus 4.7 시스템 프롬프트를 토큰‑카운팅 도구에 붙여넣었고, Opus 4.7 토크나이저가 Opus 4.6보다 1.46배 많은 토큰을 사용한다는 것을 발견했습니다.

Opus 4.7은 Opus 4.6과 동일한 가격 정책을 적용합니다—입력 토큰 백만 개당 $5, 출력 토큰 백만 개당 $25—하지만 이 토큰 인플레이션 때문에 약 40 % 더 비쌀 것으로 예상됩니다.

이미지 토큰 카운팅

토큰 카운터 도구는 이미지도 지원합니다. Opus 4.7은 다음과 같이 향상된 이미지 지원을 제공합니다:

Opus 4.7은 고해상도 이미지를 위한 비전이 개선되었습니다: 긴 가장자리가 최대 2,576픽셀(~3.75 메가픽셀)까지 지원하며, 이는 이전 Claude 모델보다 3배 이상 많습니다.

3456 × 2234 픽셀, 3.7 MB PNG 이미지에 대해 토큰을 계산해 보니 토큰 수가 3.01배 증가했습니다—Opus 4.7이 Opus 4.6에 비해 더 많은 토큰을 사용한다는 의미입니다.

업데이트: 이미지에 대한 3배 증가 현상은 전적으로 Opus 4.7이 더 높은 해상도를 처리할 수 있기 때문입니다. 682 × 318 픽셀 이미지를 다시 테스트한 결과 Opus 4.7은 314 토큰, Opus 4.6은 310 토큰을 반환했으며, 사실상 동일한 비용이었습니다.

업데이트 2: 15 MB, 30페이지 분량의 텍스트가 많은 PDF를 시험해 보았습니다. Opus 4.7은 60,934 토큰을, 4.6은 56,482 토큰을 보고했으며, 이는 1.08배의 승수로, 순수 텍스트에서 얻은 승수보다 훨씬 낮았습니다.