GPT میں اردو، انگریزی سے 1.59 گنا زیادہ ٹوکن لیتی ہے

Jonhisking · 2026-10-01

ہم نے ایک ہی کسٹمر سپورٹ پرامپٹ کا 34 زبانوں میں ترجمہ کیا اور OpenAI کے موجودہ o200k_base ٹوکنائزر (‏GPT-4o اور بعد کے ماڈل) سے ٹوکن گنے۔ انگریزی میں 34 ٹوکن لگتے ہیں اور اردو میں 54 ٹوکن، یعنی انگریزی کا 1.59×؛ 34 زبانوں میں سب سے سستی سے گنیں تو 25 واں نمبر۔

اردو ورژن:

نیچے دی گئی گاہک کی ای میل کا تین نکات میں خلاصہ کریں اور ایک شائستہ جواب تجویز کریں۔ گاہک کا کہنا ہے کہ آرڈر دو دن دیر سے پہنچا اور ڈبے میں ایک چیز کم تھی۔

نتائج

کیوں

ٹوکنائزر زیادہ تر انگریزی متن سے سیکھتا ہے: " polite" یا " customer" جیسے الفاظ ایک ٹوکن ہوتے ہیں، جبکہ بہت سے اردو الفاظ ٹکڑوں میں بٹ جاتے ہیں:

• شائستہ → ش | ائ | ست | ہ · 4
• گاہک → گ | اہ | ک · 3
• ڈبے → ڈ | ب | ے · 3

پرانے ٹوکنائزر سے موازنہ

GPT-4 دور کے ٹوکنائزر (cl100k) پر یہی پرامپٹ 4.24× تھا؛ اب 1.59× ہے۔

پیسوں میں

ہر 10 لاکھ ان پٹ ٹوکن پر 2 ڈالر والے ماڈل میں یہ پرامپٹ 10 لاکھ بار بھیجنے پر انگریزی میں 68 ڈالر اور اردو میں 108 ڈالر لگتے ہیں۔ جواب بھی اردو میں ہو تو یہی ضرب آؤٹ پٹ ٹوکنز پر بھی لگتی ہے جو عموماً 4–5 گنا مہنگے ہوتے ہیں۔

کیسے بچت کریں

• سسٹم پرامپٹ اور مستقل ہدایات انگریزی میں لکھیں؛ صرف صارف کا ان پٹ اردو میں رکھیں۔
• درمیانی مراحل (درجہ بندی، معلومات نکالنا، ٹول کال) انگریزی یا JSON میں لیں، صرف آخری جواب اردو میں۔
• پرامپٹ کے مستقل حصے کے لیے پرامپٹ کیشنگ استعمال کریں۔

حدود

• صرف ایک پرامپٹ ناپا گیا؛ دوسرے متن میں تناسب ±0.1–0.2 بدل سکتا ہے۔
• Claude اور Gemini کے ٹوکنائزر مختلف ہیں؛ یہ اعداد صرف OpenAI ماڈلز کے لیے ہیں۔
• ترجمہ جانچے گئے مشینی ترجمے پر مبنی ہے۔

تمام 34 زبانوں کے نتائج (انگریزی میں): 34 زبانوں کا موازنہ