GPT-யில் தமிழுக்கு ஆங்கிலத்தை விட 1.97× டோக்கன்கள்

Jonhisking · 2026-10-01

ஒரே வாடிக்கையாளர் சேவை ப்ராம்ப்டை 41 மொழிகளில் மொழிபெயர்த்து, OpenAI-இன் தற்போதைய டோக்கனைசரான o200k_base (GPT-4o மற்றும் அதற்குப் பிந்தையவை) மூலம் டோக்கன்களை எண்ணினேன். ஆங்கிலத்துக்கு 34 டோக்கன்கள் தேவை, தமிழுக்கு 67, அதாவது 1.97× — தரவரிசை 36/41 (1 = மிகக் குறைந்த செலவு).

தமிழ் பதிப்பு:

கீழே உள்ள வாடிக்கையாளரின் மின்னஞ்சலை மூன்று புள்ளிகளில் சுருக்கி, ஒரு பணிவான பதிலைப் பரிந்துரைக்கவும். ஆர்டர் இரண்டு நாட்கள் தாமதமாக வந்ததாகவும், பெட்டியில் ஒரு பொருள் காணவில்லை என்றும் வாடிக்கையாளர் கூறுகிறார்.

முடிவுகள்

மொழி	டோக்கன்கள்	ஆங்கிலத்துடன் ஒப்பிட	பழைய GPT-4 டோக்கனைசர்
English	34	1.00×	1.00×
简体中文	35	1.03×	1.53×
Español	40	1.18×	1.29×
Deutsch	43	1.26×	1.50×
한국어	49	1.44×	2.50×
हिन्दी	51	1.50×	4.59×
日本語	61	1.79×	2.21×
தமிழ்	67	1.97×	8.47×
Čeština	68	2.00×	2.59×
Ελληνικά	70	2.06×	4.94×
ਪੰਜਾਬੀ	83	2.44×	7.41×

முடிவுகள்

ஏன்

டோக்கனைசர் பெரும்பாலும் ஆங்கில உரையிலிருந்து கற்றுக்கொள்கிறது: " polite", " customer" போன்ற சொற்கள் ஒரே டோக்கன், ஆனால் விகுதிகள் ஒட்டிய நீளமான தமிழ்ச் சொற்கள் பல துண்டுகளாகப் பிரிக்கப்படுகின்றன:

வாடிக்கையாளரின் → வ | ாட | ிக்க | ையாள | ர | ின் · 6
பரிந்துரைக்கவும் → பர | ிந்த | ுர | ைக்க | வும் · 5
வாடிக்கையாளர் → வ | ாட | ிக்க | ைய | ாளர் · 5

பழைய டோக்கனைசருடன் ஒப்பிடுகையில்

GPT-4 காலத்து டோக்கனைசரில் (cl100k) இதே ப்ராம்ப்டுக்கு 8.47× தேவைப்பட்டது, இப்போது 1.97×. இந்த மாற்றத்தால் தமிழ் மிகப் பெரிய பலன் பெற்றது.

பணமாக

1M உள்ளீட்டு டோக்கன்களுக்கு $2 விலையுள்ள மாடலில், இந்த ப்ராம்ப்டை 10 லட்சம் முறை அனுப்பினால் ஆங்கிலத்தில் 68 டாலர், தமிழில் 134 டாலர் ஆகும். பதிலும் தமிழில் இருந்தால், அதே பெருக்கம் வெளியீட்டு டோக்கன்களுக்கும் பொருந்தும் — அவை வழக்கமாக 4–5 மடங்கு விலை அதிகம்.

எப்படிச் சேமிப்பது

சிஸ்டம் ப்ராம்ப்டையும் நிலையான வழிமுறைகளையும் ஆங்கிலத்தில் எழுதுங்கள்; பயனரின் உள்ளீட்டை மட்டும் தமிழில் விடுங்கள்.
இடைநிலைப் படிகளை (வகைப்படுத்தல், தகவல் பிரித்தெடுத்தல், tool அழைப்புகள்) ஆங்கிலத்திலோ JSON வடிவிலோ கேளுங்கள்; இறுதிப் பதிலை மட்டும் தமிழில் பெறுங்கள்.
ப்ராம்ப்டின் நிலையான பகுதிக்கு prompt caching பயன்படுத்துங்கள்.

வரம்புகள்

நான் ஒரே ஒரு ப்ராம்ப்டை மட்டுமே அளந்தேன்; பிற உரைகளில் விகிதம் ±0.1–0.2 மாறலாம்.
Claude, Gemini வேறு டோக்கனைசர்களைப் பயன்படுத்துகின்றன – இந்த எண்கள் OpenAI மாடல்களுக்கு மட்டுமே பொருந்தும்.
மொழிபெயர்ப்பு, சரிபார்க்கப்பட்ட இயந்திர மொழிபெயர்ப்பை அடிப்படையாகக் கொண்டது.

அனைத்து 41 மொழிகளின் முடிவுகள் (ஆங்கிலத்தில்): 41 மொழி ஒப்பீடு

உங்கள் சொந்த உரையை அளந்து பாருங்கள்: உங்கள் தமிழ் ப்ராம்ப்டுக்கு ஆங்கிலத்துடன் ஒப்பிடும்போது எத்தனை டோக்கன்கள், எவ்வளவு பணம் ஆகிறது.

டோக்கன் கவுண்டரைத் திற →