GPT-യിൽ മലയാളം: 10× ൽ നിന്ന് 1.85× ടോക്കണിലേക്ക്
Jonhisking · 2026-10-01
ഒരേ കസ്റ്റമർ സപ്പോർട്ട് പ്രോംപ്റ്റ് 41 ഭാഷകളിലേക്ക് വിവർത്തനം ചെയ്ത്, OpenAI-യുടെ നിലവിലെ ടോക്കണൈസറായ o200k_base (GPT-4o-യും പുതിയ മോഡലുകളും) ഉപയോഗിച്ച് ടോക്കണുകൾ എണ്ണി. ഇംഗ്ലീഷിന് 34 ടോക്കൺ വേണം, മലയാളത്തിന് 63 – അതായത് 1.85×; 41 ഭാഷകളിൽ 33-ാം സ്ഥാനം (1 = ഏറ്റവും വിലകുറഞ്ഞത്).
മലയാളം പതിപ്പ്:
താഴെയുള്ള ഉപഭോക്താവിന്റെ ഇമെയിൽ മൂന്ന് പോയിന്റുകളായി സംഗ്രഹിച്ച് ഒരു വിനീതമായ മറുപടി നിർദ്ദേശിക്കുക. ഓർഡർ രണ്ട് ദിവസം വൈകിയാണ് എത്തിയതെന്നും പെട്ടിയിൽ ഒരു സാധനം കുറവായിരുന്നുവെന്നും ഉപഭോക്താവ് പറയുന്നു.
ഫലങ്ങൾ
| ഭാഷ | ടോക്കൺ | ഇംഗ്ലീഷിനെ അപേക്ഷിച്ച് | പഴയ GPT-4 ടോക്കണൈസർ |
|---|---|---|---|
| English | 34 | 1.00× | 1.00× |
| 简体中文 | 35 | 1.03× | 1.53× |
| Español | 40 | 1.18× | 1.29× |
| Deutsch | 43 | 1.26× | 1.50× |
| 한국어 | 49 | 1.44× | 2.50× |
| हिन्दी | 51 | 1.50× | 4.59× |
| 日本語 | 61 | 1.79× | 2.21× |
| മലയാളം | 63 | 1.85× | 10.09× |
| Čeština | 68 | 2.00× | 2.59× |
| Ελληνικά | 70 | 2.06× | 4.94× |
| ਪੰਜਾਬੀ | 83 | 2.44× | 7.41× |

എന്തുകൊണ്ട്
ടോക്കണൈസർ കൂടുതലും ഇംഗ്ലീഷ് ടെക്സ്റ്റിൽ നിന്നാണ് പഠിക്കുന്നത്: " polite", " customer" പോലുള്ള വാക്കുകൾ ഓരോന്നും ഒറ്റ ടോക്കണാണ്. എന്നാൽ പ്രത്യയങ്ങൾ ചേർന്ന് നീളുന്ന മലയാളം വാക്കുകൾ പല കഷണങ്ങളായി മുറിയുന്നു:
- കുറവായിരുന്നുവെന്നും →
കുറ | വ | ായ | ിരുന്ന | ുവ | െന്നും· 6 - ഉപഭോക്താവിന്റെ →
ഉപ | ഭ | ോക | ്ത | ാവ | ിന്റെ· 6 - ഉപഭോക്താവ് →
ഉപ | ഭ | ോക | ്ത | ാവ്· 5
പഴയ ടോക്കണൈസറുമായി താരതമ്യം
GPT-4 കാലത്തെ ടോക്കണൈസറിൽ (cl100k) ഇതേ പ്രോംപ്റ്റിന് 10.09× വേണ്ടിയിരുന്നു – അളന്ന എല്ലാ ഭാഷകളിലും ഏറ്റവും കൂടുതൽ. ഇപ്പോൾ 1.85× മാത്രം. ഈ മാറ്റത്തിൽ ഏറ്റവും വലിയ നേട്ടം മലയാളത്തിനാണ്.
പണത്തിന്റെ കണക്കിൽ
10 ലക്ഷം ഇൻപുട്ട് ടോക്കണിന് $2 നിരക്കുള്ള മോഡലിൽ ഈ പ്രോംപ്റ്റ് 10 ലക്ഷം തവണ അയയ്ക്കാൻ ഇംഗ്ലീഷിൽ 68 $, മലയാളത്തിൽ 126 $ ചെലവാകും. മറുപടിയും മലയാളത്തിലാണെങ്കിൽ ഇതേ ഗുണകം ഔട്ട്പുട്ട് ടോക്കണുകൾക്കും ബാധകമാണ്; അവയ്ക്ക് സാധാരണ 4–5× വില കൂടുതലാണ്.
എങ്ങനെ ലാഭിക്കാം
- സിസ്റ്റം പ്രോംപ്റ്റും സ്ഥിരം നിർദ്ദേശങ്ങളും ഇംഗ്ലീഷിൽ എഴുതുക; യൂസറുടെ ഇൻപുട്ട് മാത്രം മലയാളത്തിൽ വിടുക.
- ഇടയിലെ ഘട്ടങ്ങൾ (ക്ലാസിഫിക്കേഷൻ, എക്സ്ട്രാക്ഷൻ, ടൂൾ കോളുകൾ) ഇംഗ്ലീഷിലോ JSON-ലോ ആവശ്യപ്പെടുക; അന്തിമ മറുപടി മാത്രം മലയാളത്തിൽ.
- പ്രോംപ്റ്റിന്റെ സ്ഥിരം ഭാഗത്തിന് പ്രോംപ്റ്റ് കാഷിംഗ് ഉപയോഗിക്കുക.
പരിമിതികൾ
- ഒരു പ്രോംപ്റ്റ് മാത്രമാണ് അളന്നത്; മറ്റ് ടെക്സ്റ്റുകളിൽ അനുപാതം ±0.1–0.2 വ്യത്യാസപ്പെടാം.
- Claude, Gemini എന്നിവയ്ക്ക് വ്യത്യസ്ത ടോക്കണൈസറുകളാണ് – ഈ കണക്കുകൾ OpenAI മോഡലുകൾക്ക് മാത്രം ബാധകം.
- വിവർത്തനം പരിശോധിച്ച മെഷീൻ വിവർത്തനത്തെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്.
എല്ലാ 41 ഭാഷകളുടെയും ഫലങ്ങൾ (ഇംഗ്ലീഷിൽ): 41 ഭാഷകളുടെ താരതമ്യം
നിങ്ങളുടെ സ്വന്തം ടെക്സ്റ്റ് അളക്കുക: ഇംഗ്ലീഷിനെ അപേക്ഷിച്ച് നിങ്ങളുടെ മലയാളം പ്രോംപ്റ്റിന് എത്ര ടോക്കണും എത്ര പണവും ചെലവാകുന്നു.
ടോക്കൺ കൗണ്ടർ തുറക്കുക →