TokenSave
AI ടോക്കൺ കൗണ്ടർ
ടോക്കണുകൾ, അക്ഷരങ്ങൾ, API ചെലവ് എന്നിവ തത്സമയം എണ്ണുക – ഏത് ഭാഷയിലും.
ഒരേ ടെക്സ്റ്റിന് മലയാളം ഇംഗ്ലീഷിന്റെ ഏകദേശം 1.85× ടോക്കണുകൾ ഉപയോഗിക്കുന്നു (GPT-യുടെ o200k ടോക്കണൈസറിൽ അളന്നത്).
എന്താണ് ടോക്കൺ?
AI മോഡൽ വായിക്കുന്ന ടെക്സ്റ്റിന്റെ ഒരു ചെറിയ കഷണമാണ് ടോക്കൺ. ഇംഗ്ലീഷിൽ 1 ടോക്കൺ ഏകദേശം 4 അക്ഷരങ്ങൾ അഥവാ ഒരു വാക്കിന്റെ ¾ ആണ്.
മറ്റ് ഭാഷകൾക്ക് എന്തുകൊണ്ട് ചെലവ് കൂടുന്നു?
ടോക്കണൈസറുകൾ പ്രധാനമായും ഇംഗ്ലീഷ് ടെക്സ്റ്റിൽ പരിശീലിപ്പിക്കപ്പെട്ടവയാണ്. അതിനാൽ മലയാളം, കൊറിയൻ, ജാപ്പനീസ് പോലുള്ള പല ഭാഷകളിലും ഒരേ അർത്ഥത്തിന് കൂടുതൽ ടോക്കണുകൾ വേണ്ടിവരും.
എന്റെ ടെക്സ്റ്റ് സ്വകാര്യമായിരിക്കുമോ?
അതെ. എല്ലാം നിങ്ങളുടെ ബ്രൗസറിൽ തന്നെയാണ് പ്രവർത്തിക്കുന്നത്. നിങ്ങളുടെ ടെക്സ്റ്റ് ഒരു സെർവറിലേക്കും അയയ്ക്കുന്നില്ല.
മലയാളം ഇംഗ്ലീഷിനേക്കാൾ എത്ര കൂടുതൽ ടോക്കണുകൾ എടുക്കുന്നു?
GPT-യുടെ o200k ടോക്കണൈസറിൽ മലയാളം ഇതേ ഇംഗ്ലീഷ് ടെക്സ്റ്റിന്റെ ഏകദേശം 1.85× ടോക്കണുകൾ എടുക്കുന്നു. പഴയ GPT-4 ടോക്കണൈസറിന് 10.09× വേണ്ടിയിരുന്നു – അളന്ന എല്ലാ ഭാഷകളിലും ഏറ്റവും മോശം. അളന്ന 41 ഭാഷകളിൽ ഈ അനുപാതം 1.03× (ലളിതമാക്കിയ ചൈനീസ്) മുതൽ 2.44× (പഞ്ചാബി) വരെയാണ്.