Token-Zähler
1.000 Zeichen ergeben nach dem dokumentierten Verhältnis von Anthropic (2,5 Zeichen pro Token) etwa 400 Tokens und nach dem von Google (4 Zeichen pro Token) etwa 250. Mit Ihrem eigenen Text erhalten Sie die exakte OpenAI-Zahl.
So funktioniert’s
- Text einfügen oder eintippen. Nichts verlässt Ihren Browser.
- Die OpenAI-Kodierung wählen. o200k_base passt zu GPT-4o, GPT-4.1, GPT-5 und der o-Serie, cl100k_base zu GPT-4 und GPT-3.5.
- Die exakte Token-Zahl sowie Zeichen, Wörter und Zeilen ablesen. Die Zeilen für Claude und Gemini sind Schätzungen.
Berechnung
OpenAI: Der Text wird mit den echten Byte-Pair-Encoding-Tabellen des Open-Source-Projekts tiktoken zerlegt, im Browser über den Port js-tiktoken. Die Zahl ist für die gewählte Kodierung exakt. Die Tabellendateien (etwa 2 MB) werden erst beim ersten Tippen geladen, nicht mit der Seite.
Welche Kodierung ein Modell nutzt, folgt der Modellliste von tiktoken: o200k_base für gpt-4o, gpt-4.1, gpt-5, o1, o3 und o4-mini, cl100k_base für gpt-4 und gpt-3.5-turbo. Neuere Modelle haben in der geprüften Dokumentation keinen Tokenizer-Namen, der o200k_base-Wert dient dort nur als Anhaltspunkt.
Claude und Gemini haben keinen öffentlichen Tokenizer, deshalb sind diese Zeilen Schätzungen. Claude: Die Modellübersicht von Anthropic nennt für den aktuellen Tokenizer 1 Mio. Tokens als etwa 555.000 Wörter oder 2,5 Mio. Unicode-Zeichen; geschätzt wird Zeichen ÷ 2,5 und Wörter ÷ 0,555. Gemini: Google nennt ein Token als etwa 4 Zeichen und 100 Tokens als etwa 60 bis 80 englische Wörter; geschätzt wird Zeichen ÷ 4 und Wörter × 100/80 bis 100/60.
Der Hauptwert ist der größte der berechneten Werte, also die sichere Seite, wenn Sie prüfen, ob ein Text in ein Limit passt. Die Spanne in Klammern reicht vom kleinsten bis zum größten Verfahren.
Häufige Fragen
Was ist ein Token?
Die Einheit, die ein Sprachmodell liest und schreibt. Tokenizer zerlegen Text in Stücke, die ganze Wörter, Wortteile, einzelne Zeichen oder Satzzeichen sein können. Derselbe Satz kann in einem anderen Modell eine andere Token-Zahl haben.
Wie genau ist die Zählung?
Die OpenAI-Zahl ist für die gewählte Kodierung exakt, weil dieselben Tabellen wie in tiktoken genutzt werden. Gezählt wird nur der Text; die zusätzlichen Tokens, die eine Chat-API um Nachrichten legt, fehlen. Bei Claude und Gemini sind es Schätzungen mit Verhältnissen aus der Dokumentation, die für englischen Text gedacht sind. Sie können abweichen, besonders bei Koreanisch, Japanisch, Code oder Zahlen.
Wie bekomme ich eine exakte Zahl für Claude oder Gemini?
Mit den Zählern der Anbieter. Anthropic bietet einen kostenlosen Endpunkt zum Token-Zählen (POST /v1/messages/count_tokens), den die Dokumentation selbst als Schätzung bezeichnet. Die Gemini-API hat countTokens. Anthropic weist darauf hin, dass Claude 4.7 und neuere Modelle für denselben Text etwa 30 Prozent mehr Tokens erzeugen als frühere. Zählen Sie daher mit dem Modell, das Sie nutzen wollen.
Warum gibt es zwei OpenAI-Kodierungen?
cl100k_base ist das ältere Vokabular, o200k_base das neuere und größere. Welches ein Modell nutzt, folgt der tiktoken-Modellliste. Derselbe Text ergibt mit o200k_base oft weniger Tokens.
Wird mein Text irgendwohin gesendet?
Nein. Gezählt wird in Ihrem Browser. Die Tokenizer-Tabelle wird einmal von dieser Seite geladen, Ihr Text wird nie hochgeladen.