TokenSave
AI ਟੋਕਨ ਕਾਊਂਟਰ
ਕਿਸੇ ਵੀ ਭਾਸ਼ਾ ਵਿੱਚ ਟੋਕਨ, ਅੱਖਰ ਅਤੇ API ਖ਼ਰਚਾ ਰੀਅਲ-ਟਾਈਮ ਵਿੱਚ ਗਿਣੋ।
ਉਸੇ ਟੈਕਸਟ ਲਈ ਪੰਜਾਬੀ ਨੂੰ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ ਲਗਭਗ 2.44× ਟੋਕਨ ਲੱਗਦੇ ਹਨ — 41 ਭਾਸ਼ਾਵਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਮਹਿੰਗੀ (GPT ਦੇ o200k ਟੋਕਨਾਈਜ਼ਰ ਨਾਲ ਮਾਪਿਆ)।
ਟੋਕਨ ਕੀ ਹੁੰਦਾ ਹੈ?
ਟੋਕਨ ਟੈਕਸਟ ਦਾ ਇੱਕ ਟੁਕੜਾ ਹੈ ਜਿਸਨੂੰ AI ਮਾਡਲ ਪੜ੍ਹਦਾ ਹੈ। ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ 1 ਟੋਕਨ ਲਗਭਗ 4 ਅੱਖਰਾਂ ਜਾਂ ਇੱਕ ਸ਼ਬਦ ਦੇ ¾ ਹਿੱਸੇ ਦੇ ਬਰਾਬਰ ਹੁੰਦਾ ਹੈ।
ਹੋਰ ਭਾਸ਼ਾਵਾਂ ਮਹਿੰਗੀਆਂ ਕਿਉਂ ਪੈਂਦੀਆਂ ਹਨ?
ਟੋਕਨਾਈਜ਼ਰ ਜ਼ਿਆਦਾਤਰ ਅੰਗਰੇਜ਼ੀ 'ਤੇ ਸਿਖਾਏ ਜਾਂਦੇ ਹਨ, ਇਸ ਲਈ ਪੰਜਾਬੀ, ਹਿੰਦੀ, ਕੋਰੀਅਨ, ਜਾਪਾਨੀ ਅਤੇ ਹੋਰ ਕਈ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਉਹੀ ਅਰਥ ਵਧੇਰੇ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ।
ਕੀ ਮੇਰਾ ਟੈਕਸਟ ਨਿੱਜੀ ਰਹਿੰਦਾ ਹੈ?
ਹਾਂ। ਸਭ ਕੁਝ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਹੀ ਚੱਲਦਾ ਹੈ। ਤੁਹਾਡਾ ਟੈਕਸਟ ਕਦੇ ਵੀ ਕਿਸੇ ਸਰਵਰ 'ਤੇ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ।
ਪੰਜਾਬੀ ਨੂੰ ਅੰਗਰੇਜ਼ੀ ਨਾਲੋਂ ਕਿੰਨੇ ਵੱਧ ਟੋਕਨ ਲੱਗਦੇ ਹਨ?
GPT ਦੇ o200k ਟੋਕਨਾਈਜ਼ਰ 'ਤੇ ਪੰਜਾਬੀ ਨੂੰ ਉਸੇ ਅੰਗਰੇਜ਼ੀ ਟੈਕਸਟ ਦੇ ਲਗਭਗ 2.44× ਟੋਕਨ ਲੱਗਦੇ ਹਨ — ਅਸੀਂ ਜਿਹੜੀਆਂ 41 ਭਾਸ਼ਾਵਾਂ ਮਾਪੀਆਂ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਵੱਧ। ਪੁਰਾਣੇ GPT-4 ਟੋਕਨਾਈਜ਼ਰ (cl100k) ਨੂੰ 7.41× ਲੱਗਦੇ ਸਨ। ਸਭ ਤੋਂ ਸਸਤੀ ਸਰਲ ਚੀਨੀ 1.03× ਹੈ, ਅਤੇ ਨੇੜਲੀ ਭਾਸ਼ਾ ਹਿੰਦੀ ਸਿਰਫ਼ 1.50× ਹੈ।