Dansk bruger 1,35× så mange tokens som engelsk i GPT

Jonhisking · 2026-10-01

Jeg oversatte den samme kundeserviceprompt til 41 sprog og talte tokens med o200k_base, OpenAI's nuværende tokenizer (GPT-4o og nyere). Engelsk kræver 34 tokens, dansk 46 – altså 1,35× så mange, plads 16 af 41 (1 = billigst).

Den danske version:

Opsummer kundens e-mail nedenfor i tre punkter, og foreslå et høfligt svar. Kunden skriver, at ordren kom to dage for sent, og at der manglede en vare i kassen.

Resultater

Hvorfor

Tokenizeren lærer mest af engelsk tekst: ord som " polite" eller " customer" er ét token, mens mange danske ord – især sammensatte ord – deles op:

• manglede → m | angle | de · 3
• høfligt → hø | fl | igt · 3
• Opsummer → Ops | ummer · 2

I forhold til den gamle tokenizer

Med tokenizeren fra GPT-4-tiden (cl100k) kostede den samme prompt 1,59×, i dag 1,35×.

I penge

Med en model til 2 $ pr. million input-tokens koster det 68 $ på engelsk og 92 $ på dansk at sende prompten en million gange. Svarer modellen også på dansk, gælder den samme faktor for output-tokens, som typisk er 4–5× dyrere.

Sådan sparer du

• Skriv systemprompten og faste instruktioner på engelsk; lad kun brugerens input være på dansk.
• Bed om mellemtrin (klassificering, udtræk, værktøjskald) på engelsk eller som JSON, og kun det endelige svar på dansk.
• Brug prompt caching til den faste del af prompten.

Begrænsninger

• Der er målt én prompt; for andre tekster kan forholdet variere ±0,1–0,2.
• Claude og Gemini bruger andre tokenizere – tallene gælder kun OpenAI-modeller.
• Oversættelsen bygger på en gennemgået maskinoversættelse.

Alle resultater for 41 sprog (på engelsk): sammenligning af 41 sprog