Русский в GPT требует в 1,32 раза больше токенов, чем английский

Jonhisking · 2026-10-01

Я перевёл один и тот же промпт службы поддержки на 34 языка и посчитал токены токенизатором o200k_base — его используют современные модели OpenAI (GPT-4o и новее). На английском выходит 34 токена, на русском 45 — в 1,32 раза больше, 11-е место из 34 (1 — самый дешёвый).

Русская версия:

Кратко изложите письмо клиента ниже в трёх пунктах и предложите вежливый ответ. Клиент пишет, что заказ пришёл на два дня позже и в коробке не хватало одного товара.

Результаты

Почему

Токенизатор обучен в основном на английском тексте: слова вроде " polite" или " customer" — один токен, а русские слова с окончаниями режутся на части:

• вежливый → в | еж | лив | ый · 4
• Кратко → К | рат | ко · 3
• трёх → тр | ё | х · 3

По сравнению со старым токенизатором

На токенизаторе времён GPT-4 (cl100k) тот же промпт стоил 2,15×, сейчас — 1,32×. Кириллица заметно подешевела.

В деньгах

При цене 2 $ за 1 млн входных токенов отправка этого промпта миллион раз стоит 68 $ на английском и 90 $ на русском. Если ответ тоже на русском, тот же множитель действует и на выходные токены, которые обычно в 4–5 раз дороже.

Как сэкономить

• Пишите системный промпт и постоянные инструкции на английском, а на русском оставляйте только ввод пользователя.
• Промежуточные шаги (классификация, извлечение, вызовы инструментов) просите на английском или в JSON, а на русском — только итоговый ответ.
• Используйте кэширование промпта для постоянной части.

Ограничения

• Измерен один промпт; для других текстов коэффициент может отличаться на ±0,1–0,2.
• У Claude и Gemini другие токенизаторы — цифры верны только для моделей OpenAI.
• Перевод основан на проверенном машинном переводе.

Полные результаты по 34 языкам (на английском): сравнение 34 языка