TokenSave

GPT में हिन्दी, अंग्रेज़ी से 1.50× टोकन लेती है

Jonhisking · 2026-10-01

हमने एक ही कस्टमर-सपोर्ट प्रॉम्प्ट का 34 भाषाओं में अनुवाद किया और OpenAI के मौजूदा o200k_base टोकनाइज़र (GPT-4o और नए मॉडल) से टोकन गिने। अंग्रेज़ी में 34 टोकन लगते हैं, हिन्दी में 51 टोकन — यानी अंग्रेज़ी का 1.50×; 34 भाषाओं में सबसे सस्ती से गिनें तो 21वाँ स्थान।

हिन्दी संस्करण:

नीचे दिए गए ग्राहक ईमेल को तीन बिंदुओं में सारांशित करें और एक विनम्र उत्तर सुझाएँ। ग्राहक का कहना है कि ऑर्डर दो दिन देर से पहुँचा और डिब्बे में एक सामान कम था।

नतीजे

भाषा टोकन अंग्रेज़ी के मुकाबले पुराना GPT-4 टोकनाइज़र
English 34 1.00× 1.00×
简体中文 35 1.03× 1.53×
Español 40 1.18× 1.29×
Deutsch 43 1.26× 1.50×
한국어 49 1.44× 2.50×
हिन्दी 51 1.50× 4.59×
日本語 61 1.79× 2.21×
Čeština 68 2.00× 2.59×
Ελληνικά 70 2.06× 4.94×

नतीजे

ऐसा क्यों

टोकनाइज़र ज़्यादातर अंग्रेज़ी टेक्स्ट से सीखता है: " polite" या " customer" जैसे शब्द एक टोकन होते हैं, जबकि कई हिन्दी शब्द मात्राओं समेत टुकड़ों में बँट जाते हैं:

पुराने टोकनाइज़र से तुलना

GPT-4 दौर के टोकनाइज़र (cl100k) पर यही प्रॉम्प्ट 4.59× था; अब 1.50× है। यानी हिन्दी की लागत लगभग एक-तिहाई रह गई है।

पैसों में

$2 प्रति 10 लाख इनपुट टोकन वाले मॉडल पर यह प्रॉम्प्ट 10 लाख बार भेजने में अंग्रेज़ी में $68 और हिन्दी में $102 लगते हैं। जवाब भी हिन्दी में हो तो यही गुणक आउटपुट टोकन पर भी लगता है, जो आम तौर पर 4–5× महँगे होते हैं।

कैसे बचाएँ

सीमाएँ

सभी 34 भाषाओं के नतीजे (अंग्रेज़ी में): 34 भाषाओं की तुलना

अपना टेक्स्ट मापें: आपका हिन्दी प्रॉम्प्ट अंग्रेज़ी की तुलना में कितने टोकन और कितना पैसा लेता है।

टोकन काउंटर खोलें →