TokenSave
Počítadlo AI tokenov
Počítajte tokeny, znaky a cenu API v reálnom čase — v akomkoľvek jazyku.
Pre rovnaký text spotrebuje slovenčina približne 2.00× tokenov oproti angličtine (merané na tokenizéri o200k od GPT).
Čo je token?
Token je kúsok textu, ktorý číta AI model. V angličtine zodpovedá 1 token približne 4 znakom alebo ¾ slova.
Prečo sú iné jazyky drahšie?
Tokenizéry sa trénujú najmä na angličtine, preto sa slovenčina, kórejčina, japončina a mnohé ďalšie jazyky rozdelia na viac tokenov pre rovnaký obsah.
Je môj text súkromný?
Áno. Všetko beží lokálne vo vašom prehliadači. Text sa nikdy neodosiela na žiadny server.
O koľko viac tokenov spotrebuje slovenčina ako angličtina?
Na tokenizéri o200k od GPT spotrebuje slovenčina približne 2.00× tokenov oproti rovnakému textu v angličtine, rovnako ako čeština — medzi 41 meranými jazykmi sú drahšie už len telugčina (2.03×), gréčtina (2.06×) a pandžábčina (2.44×). Starý tokenizér GPT-4 potreboval 2.53×.