AI டோக்கன் கவுண்டர்
எந்த மொழியிலும் டோக்கன்கள், எழுத்துகள், API செலவை நிகழ்நேரத்தில் கணக்கிடுங்கள்.
அதே உரைக்குத் தமிழ் ஆங்கிலத்தை விட சுமார் 97% அதிக டோக்கன்களைப் பயன்படுத்துகிறது (GPT-இன் o200k டோக்கனைசரில் அளவிடப்பட்டது).
🔍 இது டோக்கன்களாக எப்படிப் பிரிகிறது என்று பாருங்கள்
ஒவ்வொரு நிறமும் ஒரு டோக்கன் (GPT-4o மற்றும் அதற்குப் பிந்தையவை). கோடிட்ட விளிம்புள்ள பெட்டிகள் பல டோக்கன்களை எடுக்கும் ஒரே எழுத்து.
நிறங்கள் டோக்கன்களைப் பிரிக்க மட்டுமே. எல்லாவற்றுக்கும் ஒரே விலை: அதிக பெட்டி = அதிக செலவு.
அதிகாரப்பூர்வ விலை மற்றும் டோக்கனைசர் குறிப்புகள்:
டோக்கன் என்றால் என்ன?
டோக்கன் என்பது AI மாடல் படிக்கும் உரையின் ஒரு சிறு பகுதி. ஆங்கிலத்தில் 1 டோக்கன் என்பது சுமார் 4 எழுத்துகள் அல்லது ஒரு சொல்லின் ¾ பகுதி.
பிற மொழிகளுக்கு ஏன் அதிக செலவாகிறது?
டோக்கனைசர்கள் பெரும்பாலும் ஆங்கில உரையில் பயிற்றுவிக்கப்படுகின்றன. அதனால் தமிழ், இந்தி, கொரியன், ஜப்பானிய மொழி உள்ளிட்ட பல மொழிகள் அதே பொருளுக்கு அதிக டோக்கன்களாகப் பிரிக்கப்படுகின்றன.
என் உரை தனிப்பட்டதாகவே இருக்குமா?
ஆம். அனைத்தும் உங்கள் உலாவியிலேயே இயங்குகிறது. உங்கள் உரை எந்த சர்வருக்கும் ஒருபோதும் அனுப்பப்படுவதில்லை.
ஆங்கிலத்தை விடத் தமிழுக்கு எவ்வளவு அதிக டோக்கன்கள் தேவை?
GPT-இன் டோக்கனைசரில் (o200k), அதே உரை ஆங்கிலத்தில் இருப்பதைவிட தமிழ் சுமார் 97% அதிக டோக்கன்களைப் பயன்படுத்துகிறது; எனவே ப்ராம்ப்டை ஆங்கிலத்தில் அனுப்பினால் சுமார் 49% சேமிக்கலாம். 💸 டோக்கன்களைச் சேமி பொத்தான் அதை உங்கள் சாதனத்திலேயே (டெஸ்க்டாப் Chrome / Edge) ஆங்கிலத்துக்கு மொழிபெயர்த்து, பதிலைத் தமிழில் கேட்கிறது.
எப்படிப் பயன்படுத்துவது
- உங்கள் ப்ராம்ப்டை ஒட்டுங்கள் — நீங்கள் தட்டச்சு செய்யும்போதே டோக்கன் எண்ணிக்கை, எழுத்துகள், சொற்கள், மதிப்பிடப்பட்ட செலவு ஆகியவை புதுப்பிக்கப்படும்.
- GPT · Claude · Gemini · மற்றவை தாவல்களில் ஒரு மாடலைத் தேர்ந்தெடுங்கள் — அந்த மாடலின் விலையில் ஒரு கோரிக்கைக்கும் ஒரு மாதத்துக்கும் ஆகும் செலவைப் பார்க்கலாம். எதிர்பார்க்கும் பதிலின் நீளத்தையும் மாதத்துக்கான கோரிக்கைகளின் எண்ணிக்கையையும் மாற்றலாம்.
- 💸 டோக்கன்களைச் சேமி — உங்கள் உரையைச் சுருக்க முடியும் என்றால், எதிர்பார்க்கப்படும் சேமிப்புடன் இந்தப் பொத்தான் தோன்றும். அது ஒரே முறையில் இடைவெளிகளைச் சீராக்கி, ப்ராம்ப்டை ஆங்கிலத்துக்கு மொழிபெயர்த்து, தேவையற்ற சொற்களை நீக்குகிறது; பிறகு பதில் உங்கள் மொழியிலேயே வர "Reply in Tamil." என்பதைச் சேர்க்கிறது. அசல் உரையைத் திரும்பப் பெற மீண்டும் அழுத்துங்கள் (↩ அசல்).
- இது டோக்கன்களாக எப்படிப் பிரிகிறது என்று பாருங்கள் — உங்கள் உரை டோக்கன்களாக எப்படிப் பிரிக்கப்படுகிறது என்பதை வண்ணங்களில் காட்டுகிறது.
- Chat (JSON) — நீங்கள் API-க்கு அனுப்பும் மெசேஜ் வரிசையை (array) ஒட்டுங்கள்; மெசேஜ் வடிவம் பயன்படுத்தும் டோக்கன்களும் கணக்கில் சேர்க்கப்படும்.
- பகிர் — நீங்கள் உள்ளிட்ட உரையை, யாருக்காவது அனுப்பக்கூடிய இணைப்பாக மாற்றுகிறது.
இது எப்படிக் கணக்கிடப்படுகிறது?
- GPT மாடல்கள்: OpenAI-இன் உண்மையான டோக்கனைசர் (o200k) உங்கள் உலாவியிலேயே இயங்குவதால், எண்ணிக்கை துல்லியமானது.
- Claude, Gemini மற்றும் பிற: இவற்றின் டோக்கனைசர்கள் அதே வடிவில் வெளியிடப்படவில்லை, எனவே எண்ணிக்கைகள் உண்மையான உரையை வைத்து அளவீடு செய்யப்பட்ட மதிப்பீடுகள் (மதிப்பீடு எனக் குறிக்கப்பட்டுள்ளன).
- செலவு = டோக்கன்கள் ÷ 1,000,000 × ஒரு மில்லியன் டோக்கன்களுக்கான விலை. விலைகள் ஒவ்வொரு நிறுவனத்தின் அதிகாரப்பூர்வ API விலைகள்; அவை சரிபார்க்கப்பட்ட தேதியுடன் காட்டப்படுகின்றன.
- மொழித் திறன் என்பது, அதே உள்ளடக்கம் ஆங்கிலத்தில் இருப்பதைவிட உங்கள் உரைக்கு எத்தனை சதவீதம் அதிக டோக்கன்கள் தேவை என்பதைக் காட்டுகிறது. தமிழுக்கு சுமார் 97% அதிகம் தேவை — ப்ராம்ப்டை ஆங்கிலத்தில் அனுப்பினால் சுமார் 49% சேமிக்கலாம்.
மொழிபெயர்ப்பு எப்படி வேலை செய்கிறது?
- இது உலாவியில் உள்ளமைந்த AI மொழிபெயர்ப்பானைப் பயன்படுத்துகிறது: டெஸ்க்டாப் Chrome 138+ அல்லது Edge 148+.
- மொழிபெயர்ப்பு மாடல் ஒருமுறை மட்டுமே பதிவிறக்கப்படும்; அதன் பிறகு மொழிபெயர்ப்பு உங்கள் சொந்தச் சாதனத்திலேயே நடக்கும். உங்கள் உரை எந்த சர்வருக்கும் அனுப்பப்படாது.
- மொழிபெயர்த்தால் டோக்கன்கள் அதிகரிக்கும் என்றால், அது பயன்படுத்தப்படாது. கோடில் கமெண்ட்கள் மட்டுமே மொழிபெயர்க்கப்படும்.
- மொபைலிலோ ஆதரிக்கப்படாத உலாவிகளிலோ இடைவெளிகள் மட்டுமே சீராக்கப்பட்டு, ஒரு அறிவிப்பு காட்டப்படும்.