GPT માં ગુજરાતી અંગ્રેજી કરતાં 1.59× ટોકન લે છે
Jonhisking · 2026-10-01
અમે એક જ કસ્ટમર-સપોર્ટ પ્રોમ્પ્ટનો 41 ભાષાઓમાં અનુવાદ કર્યો અને OpenAI ના હાલના o200k_base ટોકનાઇઝર (GPT-4o અને નવા મોડેલ) થી ટોકન ગણ્યા. અંગ્રેજીમાં 34 ટોકન લાગે છે, ગુજરાતીમાં 54 ટોકન — એટલે કે અંગ્રેજીના 1.59×; 41 ભાષાઓમાં સૌથી સસ્તીથી ગણતાં 26મું સ્થાન.
ગુજરાતી સંસ્કરણ:
નીચેના ગ્રાહકના ઇમેઇલનો ત્રણ મુદ્દાઓમાં સારાંશ આપો અને નમ્ર જવાબ સૂચવો. ગ્રાહક કહે છે કે ઓર્ડર બે દિવસ મોડો આવ્યો અને બોક્સમાંથી એક વસ્તુ ખૂટતી હતી.
પરિણામો
| ભાષા | ટોકન | અંગ્રેજીની સરખામણીએ | જૂનું GPT-4 ટોકનાઇઝર |
|---|---|---|---|
| English | 34 | 1.00× | 1.00× |
| 简体中文 | 35 | 1.03× | 1.53× |
| Español | 40 | 1.18× | 1.29× |
| Deutsch | 43 | 1.26× | 1.50× |
| 한국어 | 49 | 1.44× | 2.50× |
| हिन्दी | 51 | 1.50× | 4.59× |
| ગુજરાતી | 54 | 1.59× | 7.18× |
| 日本語 | 61 | 1.79× | 2.21× |
| Čeština | 68 | 2.00× | 2.59× |
| Ελληνικά | 70 | 2.06× | 4.94× |
| ਪੰਜਾਬੀ | 83 | 2.44× | 7.41× |

આવું કેમ
ટોકનાઇઝર મોટે ભાગે અંગ્રેજી લખાણમાંથી શીખે છે: " polite" કે " customer" જેવા શબ્દો એક જ ટોકન હોય છે, જ્યારે ગુજરાતી લિપિના ઘણા શબ્દો માત્રાઓ સહિત ટુકડાઓમાં વહેંચાઈ જાય છે:
- બોક્સમાંથી →
બ | ોક | ્સ | માંથી· 4 - મુદ્દાઓમાં →
મુદ્દ | ાઓ | માં· 3 - ગ્રાહકના →
ગ્રાહ | ક | ના· 3
જૂના ટોકનાઇઝર સાથે સરખામણી
GPT-4 સમયના ટોકનાઇઝર (cl100k) પર આ જ પ્રોમ્પ્ટ 7.18× હતો; હવે 1.59× છે. એટલે કે ગુજરાતીનો ખર્ચ ચોથા ભાગથી પણ ઓછો થઈ ગયો છે.
પૈસામાં
10 લાખ ઇનપુટ ટોકન દીઠ $2 વાળા મોડેલ પર આ પ્રોમ્પ્ટ 10 લાખ વાર મોકલવાનો ખર્ચ અંગ્રેજીમાં 68 ડૉલર અને ગુજરાતીમાં 108 ડૉલર થાય છે. જવાબ પણ ગુજરાતીમાં હોય તો આ જ ગુણક આઉટપુટ ટોકન પર પણ લાગે છે, જે સામાન્ય રીતે 4–5× મોંઘા હોય છે.
કેવી રીતે બચાવવું
- સિસ્ટમ પ્રોમ્પ્ટ અને કાયમી સૂચનાઓ અંગ્રેજીમાં લખો; ફક્ત યુઝરનું ઇનપુટ ગુજરાતીમાં રહેવા દો.
- વચ્ચેનાં પગલાં (ક્લાસિફિકેશન, એક્સટ્રેક્શન, ટૂલ કૉલ) અંગ્રેજી કે JSON માં મેળવો, ફક્ત અંતિમ જવાબ ગુજરાતીમાં.
- પ્રોમ્પ્ટના કાયમી ભાગ માટે પ્રોમ્પ્ટ કૅશિંગ વાપરો.
મર્યાદાઓ
- ફક્ત એક પ્રોમ્પ્ટ માપ્યો છે; બીજા લખાણમાં ગુણોત્તર ±0.1–0.2 બદલાઈ શકે છે.
- Claude અને Gemini ના ટોકનાઇઝર અલગ છે; આ આંકડા ફક્ત OpenAI મોડેલ પર લાગુ પડે છે.
- અનુવાદ ચકાસેલા મશીન અનુવાદ પર આધારિત છે.
બધી 41 ભાષાઓનાં પરિણામો (અંગ્રેજીમાં): 41 ભાષાઓની સરખામણી
તમારું પોતાનું લખાણ માપો: તમારો ગુજરાતી પ્રોમ્પ્ટ અંગ્રેજીની સરખામણીએ કેટલા ટોકન અને કેટલા પૈસા લે છે.
ટોકન કાઉન્ટર ખોલો →