Token-teller
1 000 karakters kom volgens Anthropic se gedokumenteerde verhouding van 2,5 karakters per token op omtrent 400 tokens, en volgens Google se verhouding van 4 karakters per token op omtrent 250. Plak jou eie teks vir ’n presiese OpenAI-telling.
Hoe om dit te gebruik
- Plak of tik jou teks. Niks verlaat jou blaaier nie.
- Kies die OpenAI-enkodering. o200k_base pas by GPT-4o, GPT-4.1, GPT-5 en die o-reeks, cl100k_base by GPT-4 en GPT-3.5.
- Lees die presiese tokentelling, plus die karakters, woorde en reëls. Die Claude- en Gemini-rye is skattings.
Hoe dit bereken word
OpenAI: die teks word verdeel met die egte byte-pair-enkoderingstabelle wat in die oopbronprojek tiktoken gepubliseer is, in jou blaaier uitgevoer deur die js-tiktoken-poort. Die telling is presies vir die gekose enkodering. Die tabellêers (omtrent 2 MB) laai eers wanneer jy die eerste keer tik, nie saam met die bladsy nie.
Watter enkodering ’n model gebruik, kom uit die tiktoken-projek se modellys: o200k_base vir gpt-4o, gpt-4.1, gpt-5, o1, o3 en o4-mini, en cl100k_base vir gpt-4 en gpt-3.5-turbo. Modelle nuwer as daardie lys het geen gepubliseerde tokenizer-naam in die dokumentasie wat ons nagegaan het nie, so beskou die o200k_base-telling as ’n verwysing vir hulle.
Claude en Gemini het geen openbare tokenizer nie, so daardie rye is skattings. Claude: Anthropic se modeloorsig sê 1M tokens is ongeveer 555k woorde of 2,5M Unicode-karakters op sy huidige tokenizer, so die skatting is karakters ÷ 2,5 en woorde ÷ 0,555. Gemini: Google sê ’n token is ongeveer 4 karakters en 100 tokens is ongeveer 60 tot 80 Engelse woorde, so die skatting is karakters ÷ 4 en woorde × 100/80 tot 100/60.
Die hoofskatting is die grootste van die waardes, wat die veilige kant is wanneer jy nagaan of ’n teks binne ’n limiet pas. Die reeks in hakies loop van die kleinste tot die grootste metode.
Gereelde vrae
Wat is ’n token?
Die eenheid wat ’n taalmodel lees en skryf. Tokenizers verdeel teks in stukke wat hele woorde, woorddele, enkele karakters of leestekens kan wees. Dieselfde sin kan in ’n ander model ’n ander tokentelling hê.
Hoe akkuraat is die telling?
Die OpenAI-telling is presies vir die enkodering wat jy kies, omdat dit dieselfde tabelle as tiktoken gebruik. Dit tel net die teks: die ekstra tokens wat ’n klets-API rondom boodskappe byvoeg, is nie ingesluit nie. Claude- en Gemini-tellings is skattings uit dokumentverhoudings wat vir Engelse teks geskryf is, so hulle kan afwyk, meer nog by Koreaans, Japannees, kode of getalle.
Hoe kry ek ’n presiese Claude- of Gemini-telling?
Gebruik die verskaffers se eie tellers. Anthropic bied ’n gratis token-tel-eindpunt (POST /v1/messages/count_tokens) aan, wat sy dokumentasie ook ’n skatting noem. Google se Gemini-API het countTokens. Anthropic merk op dat Claude 4.7 en nuwer modelle omtrent 30 persent meer tokens vir dieselfde teks as vroeëre modelle gee, so tel teen die model wat jy beplan om te gebruik.
Hoekom verskil die OpenAI-enkoderings?
cl100k_base is die ouer woordeskat en o200k_base die nuwer, groter een. Watter een ’n model gebruik, volg die tiktoken-modellys. Dieselfde teks kry dikwels minder tokens in o200k_base.
Word my teks êrens heen gestuur?
Nee. Die telling loop in jou blaaier. Die tokenizer-tabel word een keer van hierdie werf afgelaai, en jou teks word nooit opgelaai nie.