GPT में हिन्दी, अंग्रेज़ी से 50% ज़्यादा टोकन लेती है
Jonhisking · 2026-10-02

हमने एक ही कस्टमर-सपोर्ट प्रॉम्प्ट का 41 भाषाओं में अनुवाद किया और OpenAI के मौजूदा o200k_base टोकनाइज़र (GPT-4o और नए मॉडल) से टोकन गिने। अंग्रेज़ी में 34 टोकन लगते हैं, हिन्दी में 51 टोकन — यानी अंग्रेज़ी से 50% ज़्यादा; 41 भाषाओं में सबसे सस्ती से गिनें तो 21वाँ स्थान।
हिन्दी संस्करण:
नीचे दिए गए ग्राहक ईमेल को तीन बिंदुओं में सारांशित करें और एक विनम्र उत्तर सुझाएँ। ग्राहक का कहना है कि ऑर्डर दो दिन देर से पहुँचा और डिब्बे में एक सामान कम था।
नतीजे
| भाषा | टोकन | अंग्रेज़ी के मुकाबले | अंग्रेज़ी में भेजने पर बचत |
|---|---|---|---|
| English | 34 | ±0% | – |
| 简体中文 | 35 | +3% | 3% |
| Español | 40 | +18% | 15% |
| Deutsch | 43 | +26% | 21% |
| 한국어 | 49 | +44% | 31% |
| हिन्दी | 51 | +50% | 33% |
| 日本語 | 61 | +79% | 44% |
| Čeština | 68 | +100% | 50% |
| Ελληνικά | 70 | +106% | 51% |
| ਪੰਜਾਬੀ | 83 | +144% | 59% |

ऐसा क्यों

टोकनाइज़र ज़्यादातर अंग्रेज़ी टेक्स्ट से सीखता है: " polite" या " customer" जैसे शब्द एक टोकन होते हैं, जबकि कई हिन्दी शब्द मात्राओं समेत टुकड़ों में बँट जाते हैं:
- डिब्बे →
ड | िब | ्ब | े· 4 - सारांशित →
सार | ांश | ित· 3 - बिंदुओं →
ब | िंद | ुओं· 3
एक बटन से अंग्रेज़ी में बदलें
सबसे बड़ी बचत है प्रॉम्प्ट को अंग्रेज़ी में भेजना: हिन्दी की तुलना में लगभग 33% कम टोकन। आज के मॉडल अंग्रेज़ी निर्देश अच्छी तरह समझते हैं और कहने पर हिन्दी में जवाब देते हैं। TokenSave टोकन काउंटर में अपना प्रॉम्प्ट पेस्ट करें और 💸 टोकन बचाएँ दबाएँ: यह खाली जगहें साफ़ करता है, अंग्रेज़ी में अनुवाद करता है, फ़ालतू शब्द हटाता है और "Reply in Hindi." जोड़ता है ताकि जवाब आपकी भाषा में ही रहे। यह डेस्कटॉप Chrome 138+ / Edge 148+ में बने अनुवादक का इस्तेमाल करता है; अनुवाद आपके अपने डिवाइस पर होता है और आपका टेक्स्ट कभी अपलोड नहीं होता। मूल टेक्स्ट वापस पाने के लिए ↩ मूल दबाएँ।
पैसों में
$2 प्रति 10 लाख इनपुट टोकन वाले मॉडल पर यह प्रॉम्प्ट 10 लाख बार भेजने में अंग्रेज़ी में $68 और हिन्दी में $102 लगते हैं। जवाब भी हिन्दी में हो तो यही गुणक आउटपुट टोकन पर भी लगता है, जो आम तौर पर 300–400% ज़्यादा महँगे होते हैं।
कैसे बचाएँ

- सिस्टम प्रॉम्प्ट और स्थायी निर्देश अंग्रेज़ी में लिखें; सिर्फ़ यूज़र का इनपुट हिन्दी में रहने दें।
- बीच के चरण (क्लासिफ़िकेशन, एक्सट्रैक्शन, टूल कॉल) अंग्रेज़ी या JSON में लें, सिर्फ़ अंतिम जवाब हिन्दी में।
- प्रॉम्प्ट के स्थायी हिस्से के लिए प्रॉम्प्ट कैशिंग इस्तेमाल करें।
सीमाएँ
- सिर्फ़ एक प्रॉम्प्ट मापा गया; दूसरे टेक्स्ट में अनुपात ±0.1–0.2 बदल सकता है।
- Claude और Gemini के टोकनाइज़र अलग हैं; ये आँकड़े सिर्फ़ OpenAI मॉडलों पर लागू हैं।
- अनुवाद जाँचे गए मशीन अनुवाद पर आधारित है।
अपने टेक्स्ट से टोकन काउंटर में आज़माएँ; सभी भाषाओं की तुलना भाषा तालिका में है।
सभी 41 भाषाओं के नतीजे (अंग्रेज़ी में): 41 भाषाओं की तुलना
स्रोत
अपना टेक्स्ट मापें: आपका हिन्दी प्रॉम्प्ट अंग्रेज़ी की तुलना में कितने टोकन और कितना पैसा लेता है।
टोकन काउंटर खोलें →