Українська в GPT потребує в 1,88 раза більше токенів, ніж англійська

Jonhisking · 2026-10-01

Я переклав той самий промпт служби підтримки 34 мовами й порахував токени токенізатором o200k_base, який використовують сучасні моделі OpenAI (GPT-4o і новіші). Англійською виходить 34 токени, українською 64 — у 1,88 раза більше, 30-те місце з 34 (1 — найдешевша).

Українська версія:

Коротко викладіть лист клієнта нижче у трьох пунктах і запропонуйте ввічливу відповідь. Клієнт пише, що замовлення прийшло на два дні пізніше і в коробці бракувало одного товару.

Результати

Чому

Токенізатор навчений переважно на англійському тексті: слова на кшталт " polite" чи " customer" — один токен, а українські слова з закінченнями розбиваються на шматки:

• запропонуйте → запр | оп | ону | йте · 4
• викладіть → вик | ла | ді | ть · 4
• бракувало → бра | ку | в | ало · 4

Порівняно зі старим токенізатором

На токенізаторі часів GPT-4 (cl100k) той самий промпт коштував 3,15×, тепер — 1,88×. Попри це українська досі серед найдорожчих мов, дорожчі лише грецька, чеська та словацька.

У грошах

За ціни 2 $ за 1 млн вхідних токенів надсилання цього промпту мільйон разів коштує 68 $ англійською і 128 $ українською. Якщо відповідь теж українською, той самий множник діє й на вихідні токени, які зазвичай у 4–5 разів дорожчі.

Як заощадити

• Пишіть системний промпт і сталі інструкції англійською, а українською залишайте лише введення користувача.
• Проміжні кроки (класифікація, вилучення, виклики інструментів) просіть англійською або в JSON, а українською — лише фінальну відповідь.
• Використовуйте кешування промпту для сталої частини.

Обмеження

• Виміряно один промпт; для інших текстів коефіцієнт може відрізнятися на ±0,1–0,2.
• У Claude і Gemini інші токенізатори — цифри правильні лише для моделей OpenAI.
• Переклад базується на перевіреному машинному перекладі.

Повні результати для 34 мов (англійською): порівняння 34 мов