TokenSave

GPTలో తెలుగుకు ఇంగ్లీష్ కంటే 2.03× టోకెన్‌లు

Jonhisking · 2026-10-01

ఒకే కస్టమర్ సపోర్ట్ ప్రాంప్ట్‌ను 41 భాషల్లోకి అనువదించి, OpenAI ప్రస్తుత టోకెనైజర్ అయిన o200k_base (GPT-4o మరియు ఆ తర్వాతి మోడల్‌లు)తో టోకెన్‌లను లెక్కించాను. ఇంగ్లీష్‌కు 34 టోకెన్‌లు పట్టాయి, తెలుగుకు 69, అంటే 2.03× — ర్యాంక్ 39/41 (1 = అత్యంత చౌక).

తెలుగు వెర్షన్:

క్రింది కస్టమర్ ఇమెయిల్‌ను మూడు పాయింట్లలో సంగ్రహించి, మర్యాదపూర్వకమైన సమాధానాన్ని సూచించండి. ఆర్డర్ రెండు రోజులు ఆలస్యంగా వచ్చిందని, పెట్టెలో ఒక వస్తువు లేదని కస్టమర్ చెబుతున్నారు.

ఫలితాలు

భాష టోకెన్‌లు ఇంగ్లీష్‌తో పోలిస్తే పాత GPT-4 టోకెనైజర్
English 34 1.00× 1.00×
简体中文 35 1.03× 1.53×
Español 40 1.18× 1.29×
Deutsch 43 1.26× 1.50×
한국어 49 1.44× 2.50×
हिन्दी 51 1.50× 4.59×
日本語 61 1.79× 2.21×
Čeština 68 2.00× 2.59×
తెలుగు 69 2.03× 9.38×
Ελληνικά 70 2.06× 4.94×
ਪੰਜਾਬੀ 83 2.44× 7.41×

ఫలితాలు

ఎందుకు

టోకెనైజర్ ఎక్కువగా ఇంగ్లీష్ టెక్స్ట్ నుండి నేర్చుకుంటుంది: " polite" లేదా " customer" వంటి పదాలు ఒక్కో టోకెన్ మాత్రమే, కానీ ప్రత్యయాలు, సంధులతో పొడవైన తెలుగు పదాలు, గుణింతాలు, ఒత్తులు చాలా ముక్కలుగా విడిపోతాయి:

పాత టోకెనైజర్‌తో పోలిస్తే

GPT-4 కాలం నాటి టోకెనైజర్ (cl100k)తో అదే ప్రాంప్ట్‌కు 9.38× పట్టేవి, ఇప్పుడు 2.03× మాత్రమే. ఈ మార్పుతో తెలుగు చాలా లాభపడింది, అయినా 41 భాషల్లో 39వ స్థానంలో ఉంది — గ్రీక్ (2.06×), పంజాబీ (2.44×) మాత్రమే ఎక్కువ ఖర్చవుతాయి.

డబ్బు రూపంలో

1M ఇన్‌పుట్ టోకెన్‌లకు $2 ధర ఉన్న మోడల్‌తో, ఈ ప్రాంప్ట్‌ను పది లక్షల సార్లు పంపితే ఇంగ్లీష్‌లో 68 డాలర్లు, తెలుగులో 138 డాలర్లు ఖర్చవుతుంది. జవాబు కూడా తెలుగులో వస్తే, సాధారణంగా 4–5 రెట్లు ఖరీదైన అవుట్‌పుట్ టోకెన్‌లకూ ఇదే గుణకం వర్తిస్తుంది.

ఎలా ఆదా చేయాలి

పరిమితులు

అన్ని 41 భాషల ఫలితాలు (ఇంగ్లీష్‌లో): 41 భాషల పోలిక

మీ సొంత టెక్స్ట్‌ను కొలవండి: మీ తెలుగు ప్రాంప్ట్‌కు ఇంగ్లీష్‌తో పోలిస్తే ఎన్ని టోకెన్‌లు, ఎంత ఖర్చు అవుతుందో చూడండి.

టోకెన్ కౌంటర్ తెరవండి →