Suomi vie GPT:ssä 1,44× englannin tokenmäärän

Jonhisking · 2026-10-01

Käänsin saman asiakaspalvelupromptin 41 kielelle ja laskin tokenit o200k_basella, OpenAI:n nykyisellä tokenisoijalla (GPT-4o ja uudemmat). Englanniksi tarvitaan 34 tokenia, suomeksi 49 eli 1,44×, sija 19/41 (1 = halvin).

Suomenkielinen versio:

Tiivistä alla oleva asiakkaan sähköposti kolmeen kohtaan ja ehdota kohteliasta vastausta. Asiakas kertoo, että tilaus saapui kaksi päivää myöhässä ja laatikosta puuttui yksi tuote.

Tulokset

Miksi

Tokenisoija oppii enimmäkseen englanninkielisestä tekstistä: sanat kuten " polite" tai " customer" ovat yksi token, kun taas päätteiden pidentämät suomen sanat pilkkoutuvat:

• kohteliasta → koht | eli | asta · 3
• laatikosta → laat | ik | osta · 3
• Tiivistä → Ti | iv | istä · 3

Vanhaan tokenisoijaan verrattuna

GPT-4-ajan tokenisoijalla (cl100k) sama prompti vei 2,03×, nyt 1,44×. Suomi hyötyi muutoksesta selvästi.

Rahana

Mallilla, jonka hinta on 2 $ miljoonaa syötetokenia kohden, tämän promptin lähettäminen miljoona kertaa maksaa englanniksi 68 $ ja suomeksi 98 $. Jos vastauskin on suomeksi, sama kerroin koskee tulostetokeneita, jotka ovat yleensä 4–5 kertaa kalliimpia.

Miten säästää

• Kirjoita järjestelmäprompti ja kiinteät ohjeet englanniksi; jätä suomeksi vain käyttäjän syöte.
• Pyydä välivaiheet (luokittelu, poiminta, työkalukutsut) englanniksi tai JSON-muodossa ja vain lopullinen vastaus suomeksi.
• Käytä prompt cachingia promptin kiinteälle osalle.

Rajoitukset

• Mittasin vain yhden promptin; muilla teksteillä suhde voi vaihdella ±0,1–0,2.
• Claudella ja Geminillä on eri tokenisoijat – luvut pätevät vain OpenAI:n malleihin.
• Käännös perustuu tarkistettuun konekäännökseen.

Kaikkien 41 kielen tulokset (englanniksi): 41 kielen vertailu