GPT ಯಲ್ಲಿ ಕನ್ನಡಕ್ಕೆ ಇಂಗ್ಲಿಷ್‌ಗಿಂತ 1.79× ಟೋಕನ್‌ಗಳು ಬೇಕು

Jonhisking · 2026-10-01

ಒಂದೇ ಕಸ್ಟಮರ್-ಸಪೋರ್ಟ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು 41 ಭಾಷೆಗಳಿಗೆ ಅನುವಾದಿಸಿ, OpenAI ನ ಪ್ರಸ್ತುತ ಟೋಕನೈಸರ್ o200k_base (GPT-4o ಮತ್ತು ನಂತರದ ಮಾಡೆಲ್‌ಗಳು) ಬಳಸಿ ಟೋಕನ್‌ಗಳನ್ನು ಎಣಿಸಿದೆವು. ಇಂಗ್ಲಿಷ್‌ಗೆ 34 ಟೋಕನ್‌ಗಳು ಬೇಕು, ಕನ್ನಡಕ್ಕೆ 61 ಟೋಕನ್‌ಗಳು — ಅಂದರೆ ಇಂಗ್ಲಿಷ್‌ನ 1.79×; 41 ಭಾಷೆಗಳಲ್ಲಿ 32ನೇ ಸ್ಥಾನ (1 = ಅತ್ಯಂತ ಅಗ್ಗ).

ಕನ್ನಡ ಆವೃತ್ತಿ:

ಕೆಳಗಿನ ಗ್ರಾಹಕರ ಇಮೇಲ್ ಅನ್ನು ಮೂರು ಅಂಶಗಳಲ್ಲಿ ಸಾರಾಂಶಗೊಳಿಸಿ ಮತ್ತು ವಿನಯದ ಉತ್ತರವನ್ನು ಸೂಚಿಸಿ. ಆರ್ಡರ್ ಎರಡು ದಿನ ತಡವಾಗಿ ಬಂದಿದೆ ಮತ್ತು ಪೆಟ್ಟಿಗೆಯಲ್ಲಿ ಒಂದು ವಸ್ತು ಕಾಣೆಯಾಗಿದೆ ಎಂದು ಗ್ರಾಹಕರು ಹೇಳುತ್ತಾರೆ.

ಫಲಿತಾಂಶಗಳು

ಭಾಷೆ	ಟೋಕನ್‌ಗಳು	ಇಂಗ್ಲಿಷ್‌ಗೆ ಹೋಲಿಸಿದರೆ	ಹಳೆಯ GPT-4 ಟೋಕನೈಸರ್
English	34	1.00×	1.00×
简体中文	35	1.03×	1.53×
Español	40	1.18×	1.29×
Deutsch	43	1.26×	1.50×
한국어	49	1.44×	2.50×
हिन्दी	51	1.50×	4.59×
ಕನ್ನಡ	61	1.79×	9.35×
日本語	61	1.79×	2.21×
Čeština	68	2.00×	2.59×
Ελληνικά	70	2.06×	4.94×
ਪੰਜਾਬੀ	83	2.44×	7.41×

ಫಲಿತಾಂಶಗಳು

ಏಕೆ ಹೀಗೆ

ಟೋಕನೈಸರ್ ಹೆಚ್ಚಾಗಿ ಇಂಗ್ಲಿಷ್ ಪಠ್ಯದಿಂದ ಕಲಿಯುತ್ತದೆ: " polite" ಅಥವಾ " customer" ನಂತಹ ಪದಗಳು ಒಂದೇ ಟೋಕನ್, ಆದರೆ ಕನ್ನಡ ಲಿಪಿಯ ಪದಗಳು ಒತ್ತಕ್ಷರ ಮತ್ತು ಕಾಗುಣಿತ ಚಿಹ್ನೆಗಳ ಸಹಿತ ಹಲವು ತುಣುಕುಗಳಾಗಿ ಒಡೆಯುತ್ತವೆ:

ಸಾರಾಂಶಗೊಳಿಸಿ → ಸಾರ | ಾಂ | ಶ | ಗ | ೊಳ | ಿಸಿ · 6
ಪೆಟ್ಟಿಗೆಯಲ್ಲಿ → ಪ | ೆ | ಟ್ಟ | ಿಗ | ೆಯಲ್ಲಿ · 5
ಅಂಶಗಳಲ್ಲಿ → ಅ | ಂ | ಶ | ಗಳಲ್ಲಿ · 4

ಹಳೆಯ ಟೋಕನೈಸರ್‌ಗೆ ಹೋಲಿಸಿದರೆ

GPT-4 ಕಾಲದ ಟೋಕನೈಸರ್‌ನಲ್ಲಿ (cl100k) ಇದೇ ಪ್ರಾಂಪ್ಟ್ 9.35× ಆಗಿತ್ತು; ಈಗ 1.79×. ಅಂದರೆ ಕನ್ನಡದ ವೆಚ್ಚ ಐದನೇ ಒಂದು ಭಾಗಕ್ಕಿಂತಲೂ ಕಡಿಮೆಯಾಗಿದೆ — ಎಲ್ಲಾ ಭಾಷೆಗಳಲ್ಲಿ ಅತಿ ದೊಡ್ಡ ಇಳಿಕೆಗಳಲ್ಲಿ ಒಂದು.

ಹಣದ ಲೆಕ್ಕದಲ್ಲಿ

10 ಲಕ್ಷ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೆ 2 ಡಾಲರ್ ಬೆಲೆಯ ಮಾಡೆಲ್‌ನಲ್ಲಿ ಈ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು 10 ಲಕ್ಷ ಬಾರಿ ಕಳುಹಿಸಿದರೆ ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ 68 ಡಾಲರ್, ಕನ್ನಡದಲ್ಲಿ 122 ಡಾಲರ್ ಆಗುತ್ತದೆ. ಉತ್ತರವೂ ಕನ್ನಡದಲ್ಲಿದ್ದರೆ ಇದೇ ಗುಣಕ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗೂ ಅನ್ವಯಿಸುತ್ತದೆ, ಅವು ಸಾಮಾನ್ಯವಾಗಿ 4–5 ಪಟ್ಟು ದುಬಾರಿ.

ಹೇಗೆ ಉಳಿಸುವುದು

ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ ಮತ್ತು ಸ್ಥಿರ ಸೂಚನೆಗಳನ್ನು ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ ಬರೆಯಿರಿ; ಬಳಕೆದಾರರ ಇನ್‌ಪುಟ್ ಮಾತ್ರ ಕನ್ನಡದಲ್ಲಿರಲಿ.
ಮಧ್ಯಂತರ ಹಂತಗಳನ್ನು (ಕ್ಲಾಸಿಫಿಕೇಶನ್, ಎಕ್ಸ್‌ಟ್ರ್ಯಾಕ್ಷನ್, ಟೂಲ್ ಕಾಲ್‌ಗಳು) ಇಂಗ್ಲಿಷ್ ಅಥವಾ JSON ನಲ್ಲಿ ಪಡೆಯಿರಿ, ಅಂತಿಮ ಉತ್ತರ ಮಾತ್ರ ಕನ್ನಡದಲ್ಲಿ.
ಪ್ರಾಂಪ್ಟ್‌ನ ಸ್ಥಿರ ಭಾಗಕ್ಕೆ ಪ್ರಾಂಪ್ಟ್ ಕ್ಯಾಶಿಂಗ್ ಬಳಸಿ.

ಮಿತಿಗಳು

ಒಂದೇ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಮಾತ್ರ ಅಳೆಯಲಾಗಿದೆ; ಬೇರೆ ಪಠ್ಯಗಳಲ್ಲಿ ಅನುಪಾತ ±0.1–0.2 ರಷ್ಟು ಬದಲಾಗಬಹುದು.
Claude ಮತ್ತು Gemini ಬೇರೆ ಟೋಕನೈಸರ್‌ಗಳನ್ನು ಬಳಸುತ್ತವೆ; ಈ ಅಂಕಿಗಳು OpenAI ಮಾಡೆಲ್‌ಗಳಿಗೆ ಮಾತ್ರ ಅನ್ವಯ.
ಅನುವಾದವು ಪರಿಶೀಲಿಸಿದ ಮೆಷಿನ್ ಅನುವಾದವನ್ನು ಆಧರಿಸಿದೆ.

ಎಲ್ಲಾ 41 ಭಾಷೆಗಳ ಫಲಿತಾಂಶಗಳು (ಇಂಗ್ಲಿಷ್‌ನಲ್ಲಿ): 41 ಭಾಷೆಗಳ ಹೋಲಿಕೆ

ನಿಮ್ಮ ಸ್ವಂತ ಪಠ್ಯ ಅಳೆಯಿರಿ: ನಿಮ್ಮ ಕನ್ನಡ ಪ್ರಾಂಪ್ಟ್ ಇಂಗ್ಲಿಷ್‌ಗೆ ಹೋಲಿಸಿದರೆ ಎಷ್ಟು ಟೋಕನ್ ಮತ್ತು ಎಷ್ಟು ಹಣ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ.

ಟೋಕನ್ ಕೌಂಟರ್ ತೆರೆಯಿರಿ →