AI-tokenlaskuri
Laske tokenit, merkit ja API-hinta reaaliajassa – millä tahansa kielellä.
Samaan tekstiin suomi käyttää noin 1.44× englannin tokenmäärän (mitattu GPT:n o200k-tokenisoijalla).
Mikä on token?
Token on tekstin pala, jonka AI-malli lukee. Englannissa 1 token on noin 4 merkkiä tai ¾ sanasta.
Miksi muut kielet maksavat enemmän?
Tokenisoijat opetetaan enimmäkseen englanniksi, joten suomi, korea, japani ja monet muut kielet pilkkoutuvat useampaan tokeniin samalla merkityksellä.
Pysyykö tekstini yksityisenä?
Kyllä. Kaikki toimii paikallisesti selaimessasi. Tekstiäsi ei koskaan lähetetä millekään palvelimelle.
Kuinka paljon enemmän tokeneita suomi vie kuin englanti?
GPT:n o200k-tokenisoijalla suomi vie noin 1.44× saman englanninkielisen tekstin tokenit. Vanha GPT-4-tokenisoija tarvitsi 2.03×; 41 mitatun kielen joukossa suhde vaihtelee 1.03×:sta (yksinkertaistettu kiina) 2.44×:ään (punjabi).