فارسی در GPT حدود 1.24 برابر انگلیسی توکن مصرف می‌کند

Jonhisking · 2026-10-01

یک پرامپت پشتیبانی مشتری را به ۳۴ زبان ترجمه کردیم و توکن‌ها را با o200k_base، توکنایزر فعلی OpenAI (‏GPT-4o و بعد از آن) شمردیم. انگلیسی 34 توکن لازم دارد و فارسی 42 توکن، یعنی 1.24× انگلیسی؛ رتبه 6 از 34 (۱ = ارزان‌ترین).

نسخه فارسی:

ایمیل مشتری زیر را در سه نکته خلاصه کنید و یک پاسخ مودبانه پیشنهاد دهید. مشتری می‌گوید سفارش دو روز دیر رسید و یکی از اقلام در جعبه نبود.

نتایج

زبان	توکن	نسبت به انگلیسی	توکنایزر قدیمی GPT-4
English	34	1.00×	1.00×
简体中文	35	1.03×	1.53×
Español	40	1.18×	1.29×
فارسی	42	1.24×	2.79×
Deutsch	43	1.26×	1.50×
한국어	49	1.44×	2.50×
日本語	61	1.79×	2.21×
Čeština	68	2.00×	2.59×
Ελληνικά	70	2.06×	4.94×

نتایج

چرا

توکنایزر بیشتر با متن انگلیسی آموزش دیده است؛ واژه‌هایی مثل " polite" و " customer" یک توکن‌اند، اما بسیاری از واژه‌های فارسی تکه‌تکه می‌شوند:

مودبانه → مود | ب | انه · 3
جعبه → ج | عب | ه · 3
ایمیل → ایم | یل · 2

در مقایسه با توکنایزر قدیمی

در توکنایزر دوره GPT-4 ‏(cl100k) همین پرامپت 2.79× بود و حالا 1.24× است؛ یعنی هزینه فارسی به کمتر از نصف رسیده.

به پول

با مدلی که برای هر یک میلیون توکن ورودی ۲ دلار می‌گیرد، یک میلیون بار ارسال این پرامپت به انگلیسی 68 دلار و به فارسی 84 دلار هزینه دارد. اگر پاسخ هم فارسی باشد، همین ضریب روی توکن‌های خروجی هم اعمال می‌شود که معمولاً ۴ تا ۵ برابر گران‌ترند.

راه‌های صرفه‌جویی

پرامپت سیستم و دستورهای ثابت را انگلیسی بنویسید و فقط ورودی کاربر را فارسی نگه دارید.
مراحل میانی (دسته‌بندی، استخراج، فراخوانی ابزار) را انگلیسی یا JSON بخواهید و فقط پاسخ نهایی را فارسی.
برای بخش ثابت پرامپت از کش پرامپت (Prompt Caching) استفاده کنید.

محدودیت‌ها

فقط یک پرامپت سنجیده شد؛ در متن‌های دیگر نسبت ممکن است ±0.1 تا 0.2 تغییر کند.
Claude و Gemini توکنایزر دیگری دارند؛ این اعداد فقط برای مدل‌های OpenAI است.
ترجمه بر پایه ترجمه ماشینی بازبینی‌شده است.

نتایج کامل ۳۴ زبان (به انگلیسی): مقایسه ۳۴ زبان

متن خودتان را بسنجید: پرامپت فارسی شما نسبت به انگلیسی چند توکن و چقدر هزینه دارد.

باز کردن توکن‌شمار →