TokenSave
GPT·Claude·Gemini 토큰 세는 방법
Jonhisking · 2026년 10월 2일
"이거 몇 토큰이에요?"라는 질문의 답은 어떤 모델에 묻느냐에 따라 달라집니다. OpenAI, Anthropic, Google은 각자 다른 토크나이저를 쓰기 때문에, 같은 단락이 어떤 모델에서는 100토큰, 다른 모델에서는 130토큰이 될 수 있습니다. 모델별로 정확한 토큰 수를 세는 방법과, 코드 없이 빠르게 추정하는 방법을 정리했습니다.
토큰 수가 다른 이유
토크나이저는 텍스트를 고정된 어휘 목록의 조각으로 나눕니다. 이 어휘는 각 회사가 자기 학습 데이터로 만든 것이라, 어휘가 다르면 나누는 방식도 달라집니다. GPT에서 1토큰인 단어가 Claude에서는 2토큰일 수 있고, 그 반대도 있습니다. 일반 영어에서는 차이가 보통 작고, 코드·숫자·다른 언어에서는 더 커집니다.
Anthropic은 최신 Claude 모델의 토크나이저가 같은 텍스트에 이전 토크나이저보다 토큰을 눈에 띄게 많이 만든다고 밝혔습니다. 저희 토큰 계산기는 현재 Claude Sonnet과 Opus 모델을 추정할 때 GPT보다 약 30% 많은 토큰으로 계산합니다.
API 가격은 토큰 단위로 매겨지기 때문에, 이 차이는 실제 비용에 영향을 줍니다. 100만 토큰당 가격이 같은 두 모델이라도 같은 프롬프트의 비용은 다를 수 있습니다.
GPT (OpenAI): 내 컴퓨터에서 세기
OpenAI는 토크나이저를 공개해 두었기 때문에, API를 호출하지 않고 내 컴퓨터에서 정확하게 셀 수 있습니다.
Python에서는 tiktoken 라이브러리를 씁니다.
import tiktoken
enc = tiktoken.get_encoding("o200k_base")
print(len(enc.encode("Your text here")))
JavaScript에서는 js-tiktoken을 씁니다.
import { getEncoding } from "js-tiktoken";
const enc = getEncoding("o200k_base");
console.log(enc.encode("Your text here").length);
o200k_base는 GPT-4o 이후 모델이 쓰는 인코딩입니다. 최신 GPT 모델은 조금 다를 수 있으니, 이런 모델의 로컬 계산은 아주 가까운 추정치로 보세요. 채팅 요청은 형식 때문에 메시지마다 토큰이 몇 개씩 더 붙습니다.
Claude (Anthropic): 토큰 카운팅 엔드포인트 사용
Claude의 현재 토크나이저는 라이브러리로 공개되어 있지 않지만, Anthropic API에는 토큰 카운팅 엔드포인트가 있습니다. 메시지를 보내기 전에 시스템 프롬프트, 도구, 이미지를 포함한 정확한 입력 토큰 수를 알려 줍니다. 사용량 제한(rate limit) 안에서 무료로 쓸 수 있습니다. Python SDK에서는 messages.create에 넘길 인자를 그대로 client.messages.count_tokens(...)에 넘기면 됩니다.
실제로 요청을 보낸 뒤에는 모든 API 응답의 usage에 사용한 입력·출력 토큰 수가 정확히 나옵니다.
Gemini (Google): countTokens 사용
Gemini API에는 아무것도 생성하지 않고 프롬프트의 토큰 수만 알려 주는 countTokens 메서드가 있습니다. Anthropic의 엔드포인트처럼 실제 토크나이저를 쓰며, 실제 요청의 응답에도 정확한 수치가 담긴 usageMetadata가 포함됩니다.
코드 없이 빠르게 추정하기
내 텍스트가 대략 몇 토큰이고 얼마인지만 알고 싶다면 이렇게 하세요.
- 토큰세이브 토큰 계산기에 붙여 넣습니다.
- GPT 모델은 브라우저에서 돌아가는 실제 o200k 토크나이저로 셉니다.
- Claude, Gemini 등 다른 모델은 실제 텍스트로 보정한 추정치를 보여 주며, 추정치라고 분명히 표시합니다.
- 모든 모델의 비용을 나란히 볼 수 있고, 붙여 넣은 내용은 어디에도 업로드되지 않습니다.
영어라면 간단한 암산 규칙도 통합니다. 현재 GPT 모델에서 단어당 약 1.1–1.3토큰입니다. 단어·글자당 토큰 수 실측을 참고하세요.
어떤 숫자를 믿어야 할까?
- 예산을 짤 때: 보정된 추정치면 충분합니다. 모델 간 차이는 보통 앱이 얼마나 쓰일지에 대한 불확실성보다 작습니다.
- 엄격한 한도가 있을 때(컨텍스트 창, 최대 출력, 사용량 제한): 각 회사의 공식 카운팅 방법을 쓰세요. 한도를 1토큰만 넘어도 오류가 납니다.
- 청구 금액을 따지거나 비용을 정확히 추적할 때: API 응답의
usage숫자를 쓰세요. 실제로 청구되는 기준이 그 숫자입니다.
관련 글
- 토큰이란? (영어)
- LLM API 가격 비교
- AI API 청구액 예상하는 법 (영어)
프롬프트를 붙여 넣고 GPT-6 각 모델·Claude·Gemini의 토큰과 비용을 비교해 보세요.
토큰 계산기 열기 →