AI ಟೋಕನ್ ಕೌಂಟರ್
ಯಾವುದೇ ಭಾಷೆಯಲ್ಲಿ ಟೋಕನ್ಗಳು, ಅಕ್ಷರಗಳು ಮತ್ತು API ವೆಚ್ಚವನ್ನು ರಿಯಲ್-ಟೈಮ್ನಲ್ಲಿ ಲೆಕ್ಕ ಹಾಕಿ.
ಅದೇ ಪಠ್ಯಕ್ಕೆ ಕನ್ನಡ ಇಂಗ್ಲಿಷ್ಗಿಂತ ಸುಮಾರು 79% ಹೆಚ್ಚು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ (GPT ಯ o200k ಟೋಕನೈಸರ್ನಲ್ಲಿ ಅಳೆಯಲಾಗಿದೆ).
🔍 ಇದು ಟೋಕನ್ಗಳಾಗಿ ಹೇಗೆ ವಿಭಜನೆಯಾಗುತ್ತದೆ ನೋಡಿ
ಪ್ರತಿ ಬಣ್ಣ ಒಂದು ಟೋಕನ್ (GPT-4o ಮತ್ತು ನಂತರದವು). ಗೆರೆ-ಗೆರೆ ಅಂಚಿನ ಪೆಟ್ಟಿಗೆಗಳು ಹಲವು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುವ ಒಂದೇ ಅಕ್ಷರ.
ಬಣ್ಣಗಳು ಟೋಕನ್ಗಳನ್ನು ಬೇರ್ಪಡಿಸುತ್ತವೆ ಅಷ್ಟೇ. ಎಲ್ಲದರ ಬೆಲೆ ಒಂದೇ: ಹೆಚ್ಚು ಪೆಟ್ಟಿಗೆ = ಹೆಚ್ಚು ವೆಚ್ಚ.
ಅಧಿಕೃತ ಬೆಲೆ ಮತ್ತು ಟೋಕನೈಸರ್ ಉಲ್ಲೇಖಗಳು:
ಟೋಕನ್ ಎಂದರೇನು?
ಟೋಕನ್ ಎಂದರೆ AI ಮಾಡೆಲ್ ಓದುವ ಪಠ್ಯದ ಒಂದು ತುಣುಕು. ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ 1 ಟೋಕನ್ ಸುಮಾರು 4 ಅಕ್ಷರಗಳು ಅಥವಾ ಒಂದು ಪದದ ¾ ಭಾಗಕ್ಕೆ ಸಮ.
ಬೇರೆ ಭಾಷೆಗಳಿಗೆ ಏಕೆ ಹೆಚ್ಚು ವೆಚ್ಚವಾಗುತ್ತದೆ?
ಟೋಕನೈಸರ್ಗಳಿಗೆ ಹೆಚ್ಚಾಗಿ ಇಂಗ್ಲಿಷ್ ಪಠ್ಯದಿಂದ ತರಬೇತಿ ನೀಡಲಾಗಿದೆ. ಹಾಗಾಗಿ ಕನ್ನಡ, ಹಿಂದಿ, ಕೊರಿಯನ್, ಜಪಾನೀಸ್ ಮತ್ತು ಇನ್ನೂ ಹಲವು ಭಾಷೆಗಳಲ್ಲಿ ಅದೇ ಅರ್ಥಕ್ಕೆ ಹೆಚ್ಚು ಟೋಕನ್ಗಳು ಬೇಕಾಗುತ್ತವೆ.
ನನ್ನ ಪಠ್ಯ ಖಾಸಗಿಯಾಗಿ ಉಳಿಯುತ್ತದೆಯೇ?
ಹೌದು. ಎಲ್ಲವೂ ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲೇ ನಡೆಯುತ್ತದೆ. ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ಯಾವುದೇ ಸರ್ವರ್ಗೆ ಎಂದಿಗೂ ಕಳುಹಿಸುವುದಿಲ್ಲ.
ಕನ್ನಡ ಇಂಗ್ಲಿಷ್ಗಿಂತ ಎಷ್ಟು ಹೆಚ್ಚು ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತದೆ?
GPT ಟೋಕನೈಸರ್ನಲ್ಲಿ (o200k) ಅದೇ ಪಠ್ಯದ ಇಂಗ್ಲಿಷ್ ರೂಪಕ್ಕಿಂತ ಕನ್ನಡಕ್ಕೆ ಸುಮಾರು 79% ಹೆಚ್ಚು ಟೋಕನ್ ಬೇಕು, ಆದ್ದರಿಂದ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ಕಳುಹಿಸಿದರೆ ಸುಮಾರು 44% ಉಳಿತಾಯವಾಗುತ್ತದೆ. 💸 ಟೋಕನ್ ಉಳಿಸಿ ಬಟನ್ ನಿಮ್ಮ ಸಾಧನದಲ್ಲೇ (ಡೆಸ್ಕ್ಟಾಪ್ Chrome / Edge) ಅದನ್ನು ಇಂಗ್ಲಿಷ್ಗೆ ಅನುವಾದಿಸಿ ಉತ್ತರವನ್ನು ಕನ್ನಡದಲ್ಲಿ ಕೇಳುತ್ತದೆ.
ಬಳಸುವುದು ಹೇಗೆ
- ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪೇಸ್ಟ್ ಮಾಡಿ — ಟೈಪ್ ಮಾಡುತ್ತಿದ್ದಂತೆಯೇ ಟೋಕನ್, ಅಕ್ಷರಗಳು, ಪದಗಳು ಮತ್ತು ಅಂದಾಜು ವೆಚ್ಚ ಅಪ್ಡೇಟ್ ಆಗುತ್ತವೆ.
- GPT · Claude · Gemini · ಇತರೆ ಟ್ಯಾಬ್ಗಳಲ್ಲಿ ಒಂದು ಮಾಡೆಲ್ ಆಯ್ಕೆಮಾಡಿ ಮತ್ತು ಆ ಮಾಡೆಲ್ನ ಬೆಲೆಯಲ್ಲಿ ಪ್ರತಿ ವಿನಂತಿ ಹಾಗೂ ಪ್ರತಿ ತಿಂಗಳ ವೆಚ್ಚ ನೋಡಿ. ನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ ಮತ್ತು ತಿಂಗಳಿಗೆ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆಯನ್ನೂ ಬದಲಿಸಬಹುದು.
- 💸 ಟೋಕನ್ ಉಳಿಸಿ — ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ಚಿಕ್ಕದಾಗಿಸಲು ಸಾಧ್ಯವಾದಾಗ, ಈ ಬಟನ್ ನಿರೀಕ್ಷಿತ ಉಳಿತಾಯದೊಂದಿಗೆ ಕಾಣಿಸುತ್ತದೆ. ಇದು ಒಂದೇ ಬಾರಿಗೆ ಹೆಚ್ಚುವರಿ ಸ್ಪೇಸ್ಗಳನ್ನು ತೆಗೆಯುತ್ತದೆ, ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಇಂಗ್ಲಿಷ್ಗೆ ಅನುವಾದಿಸುತ್ತದೆ ಮತ್ತು ಅನಗತ್ಯ ಪದಗಳನ್ನು ಕತ್ತರಿಸುತ್ತದೆ, ನಂತರ ಉತ್ತರ ನಿಮ್ಮ ಭಾಷೆಯಲ್ಲೇ ಬರುವಂತೆ "Reply in Kannada." ಸೇರಿಸುತ್ತದೆ. ಮೂಲ ಪಠ್ಯವನ್ನು ಮರಳಿ ಪಡೆಯಲು ಅದನ್ನು ಮತ್ತೆ ಒತ್ತಿ (↩ ಮೂಲ).
- ಇದು ಟೋಕನ್ಗಳಾಗಿ ಹೇಗೆ ವಿಭಜನೆಯಾಗುತ್ತದೆ ನೋಡಿ — ನಿಮ್ಮ ಪಠ್ಯ ಟೋಕನ್ಗಳಾಗಿ ಹೇಗೆ ವಿಭಜನೆಯಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಬಣ್ಣಗಳಲ್ಲಿ ತೋರಿಸುತ್ತದೆ.
- ಚಾಟ್ (JSON) — API ಗೆ ಕಳುಹಿಸುವ ಮೆಸೇಜ್ ಅರೇಯನ್ನು ಪೇಸ್ಟ್ ಮಾಡಿ; ಮೆಸೇಜ್ ಫಾರ್ಮ್ಯಾಟ್ಗೆ ಬಳಕೆಯಾಗುವ ಟೋಕನ್ಗಳೂ ಎಣಿಕೆಗೆ ಸೇರುತ್ತವೆ.
- ಹಂಚಿಕೊಳ್ಳಿ — ನೀವು ನಮೂದಿಸಿದ ಪಠ್ಯವನ್ನು ಯಾರಿಗಾದರೂ ಕಳುಹಿಸಬಹುದಾದ ಲಿಂಕ್ ಆಗಿ ಬದಲಿಸುತ್ತದೆ.
ಲೆಕ್ಕ ಹೇಗೆ ಮಾಡಲಾಗುತ್ತದೆ?
- GPT ಮಾಡೆಲ್ಗಳು: ನಿಜವಾದ OpenAI ಟೋಕನೈಸರ್ (o200k) ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲೇ ಚಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಎಣಿಕೆ ನಿಖರವಾಗಿರುತ್ತದೆ.
- Claude, Gemini ಮತ್ತು ಇತರೆ: ಇವುಗಳ ಟೋಕನೈಸರ್ಗಳು ಅದೇ ರೂಪದಲ್ಲಿ ಪ್ರಕಟವಾಗಿಲ್ಲ, ಆದ್ದರಿಂದ ಎಣಿಕೆಗಳು ನಿಜವಾದ ಪಠ್ಯದ ಮೇಲೆ ಕ್ಯಾಲಿಬ್ರೇಟ್ ಮಾಡಿದ ಅಂದಾಜುಗಳು (ಅಂದಾಜು ಎಂದು ಗುರುತಿಸಲಾಗಿದೆ).
- ವೆಚ್ಚ = ಟೋಕನ್ ÷ 1,000,000 × ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್ ಬೆಲೆ. ಬೆಲೆಗಳು ಪ್ರತಿ ಪೂರೈಕೆದಾರರ ಅಧಿಕೃತ API ಬೆಲೆಗಳು, ಪರಿಶೀಲಿಸಿದ ದಿನಾಂಕದೊಂದಿಗೆ ತೋರಿಸಲಾಗುತ್ತದೆ.
- ಭಾಷಾ ದಕ್ಷತೆ ಇಂಗ್ಲಿಷ್ನಲ್ಲಿನ ಅದೇ ವಿಷಯಕ್ಕೆ ಹೋಲಿಸಿದರೆ ನಿಮ್ಮ ಪಠ್ಯಕ್ಕೆ ಶೇಕಡಾ ಎಷ್ಟು ಹೆಚ್ಚು ಟೋಕನ್ ಬೇಕು ಎಂದು ತೋರಿಸುತ್ತದೆ. ಕನ್ನಡಕ್ಕೆ ಸುಮಾರು 79% ಹೆಚ್ಚು ಬೇಕು — ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಇಂಗ್ಲಿಷ್ನಲ್ಲಿ ಕಳುಹಿಸಿದರೆ ಸುಮಾರು 44% ಉಳಿತಾಯವಾಗುತ್ತದೆ.
ಅನುವಾದ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?
- ಇದು ಬ್ರೌಸರ್ನಲ್ಲಿರುವ AI ಅನುವಾದಕವನ್ನು ಬಳಸುತ್ತದೆ: ಡೆಸ್ಕ್ಟಾಪ್ Chrome 138+ ಅಥವಾ Edge 148+.
- ಅನುವಾದ ಮಾಡೆಲ್ ಒಮ್ಮೆ ಮಾತ್ರ ಡೌನ್ಲೋಡ್ ಆಗುತ್ತದೆ; ಅದರ ನಂತರ ಅನುವಾದ ನಿಮ್ಮ ಸ್ವಂತ ಸಾಧನದಲ್ಲೇ ನಡೆಯುತ್ತದೆ. ನಿಮ್ಮ ಪಠ್ಯವನ್ನು ಎಂದಿಗೂ ಸರ್ವರ್ಗೆ ಕಳುಹಿಸಲಾಗುವುದಿಲ್ಲ.
- ಅನುವಾದದಿಂದ ಟೋಕನ್ ಹೆಚ್ಚಾದರೆ, ಅದನ್ನು ಅನ್ವಯಿಸಲಾಗುವುದಿಲ್ಲ. ಕೋಡ್ನಲ್ಲಿ ಕೇವಲ ಕಾಮೆಂಟ್ಗಳನ್ನು ಅನುವಾದಿಸಲಾಗುತ್ತದೆ.
- ಮೊಬೈಲ್ ಅಥವಾ ಬೆಂಬಲವಿಲ್ಲದ ಬ್ರೌಸರ್ಗಳಲ್ಲಿ ಕೇವಲ ಸ್ಪೇಸ್ಗಳನ್ನು ತೆಗೆಯಲಾಗುತ್ತದೆ ಮತ್ತು ಒಂದು ಸೂಚನೆ ತೋರಿಸಲಾಗುತ್ತದೆ.