TokenSave
AI டோக்கன் கவுண்டர்
எந்த மொழியிலும் டோக்கன்கள், எழுத்துகள், API செலவை நிகழ்நேரத்தில் கணக்கிடுங்கள்.
அதே உரைக்குத் தமிழ் ஆங்கிலத்தை விட சுமார் 1.97× டோக்கன்களைப் பயன்படுத்துகிறது (GPT-இன் o200k டோக்கனைசரில் அளவிடப்பட்டது).
டோக்கன் என்றால் என்ன?
டோக்கன் என்பது AI மாடல் படிக்கும் உரையின் ஒரு சிறு பகுதி. ஆங்கிலத்தில் 1 டோக்கன் என்பது சுமார் 4 எழுத்துகள் அல்லது ஒரு சொல்லின் ¾ பகுதி.
பிற மொழிகளுக்கு ஏன் அதிக செலவாகிறது?
டோக்கனைசர்கள் பெரும்பாலும் ஆங்கில உரையில் பயிற்றுவிக்கப்படுகின்றன. அதனால் தமிழ், இந்தி, கொரியன், ஜப்பானிய மொழி உள்ளிட்ட பல மொழிகள் அதே பொருளுக்கு அதிக டோக்கன்களாகப் பிரிக்கப்படுகின்றன.
என் உரை தனிப்பட்டதாகவே இருக்குமா?
ஆம். அனைத்தும் உங்கள் உலாவியிலேயே இயங்குகிறது. உங்கள் உரை எந்த சர்வருக்கும் ஒருபோதும் அனுப்பப்படுவதில்லை.
ஆங்கிலத்தை விடத் தமிழுக்கு எவ்வளவு அதிக டோக்கன்கள் தேவை?
GPT-இன் o200k டோக்கனைசரில், அதே ஆங்கில உரைக்கான டோக்கன்களை விடத் தமிழுக்குச் சுமார் 1.97× டோக்கன்கள் தேவை. பழைய GPT-4 டோக்கனைசருக்கு (cl100k) 8.47× தேவைப்பட்டது; அளவிடப்பட்ட 41 மொழிகளில் இந்த விகிதம் 1.03× (எளிமையாக்கப்பட்ட சீனம்) முதல் 2.44× (பஞ்சாபி) வரை உள்ளது.