TokenSave
100% ब्राउझरमध्ये · काहीही अपलोड होत नाही
AI टोकन काउंटर
कोणत्याही भाषेत टोकन, अक्षरे आणि API खर्च रिअल-टाइममध्ये मोजा.
त्याच मजकुरासाठी मराठीला इंग्रजीच्या साधारण 1.65× टोकन लागतात (GPT च्या o200k टोकनायझरने मोजलेले).
टोकन म्हणजे काय?
टोकन म्हणजे मजकुराचा असा तुकडा जो AI मॉडेल वाचते. इंग्रजीत 1 टोकन म्हणजे साधारण 4 अक्षरे किंवा एका शब्दाचा ¾ भाग.
इतर भाषांचा खर्च जास्त का येतो?
टोकनायझर मुख्यतः इंग्रजी मजकुरावर प्रशिक्षित असतात, त्यामुळे मराठी, हिंदी, कोरियन, जपानी आणि इतर अनेक भाषा तोच अर्थ सांगण्यासाठी जास्त टोकनमध्ये विभागल्या जातात.
माझा मजकूर खाजगी राहतो का?
होय. सर्व काही तुमच्या ब्राउझरमध्येच चालते. तुमचा मजकूर कधीही कोणत्याही सर्व्हरवर पाठवला जात नाही.
मराठीला इंग्रजीपेक्षा किती जास्त टोकन लागतात?
GPT च्या o200k टोकनायझरवर मराठीला त्याच इंग्रजी मजकुराच्या साधारण 1.65× टोकन लागतात. जुन्या GPT-4 टोकनायझरला (cl100k) 4.91× लागत होते; मोजलेल्या 41 भाषांमध्ये हे प्रमाण 1.03× (सरलीकृत चिनी) ते 2.44× (पंजाबी) इतके आहे.