Text-Splitter für LLM
Ein Text mit 20.000 Tokens und einem Limit von 8.000 Tokens braucht mindestens 3 Teile (20.000 ÷ 8.000, aufgerundet), etwas mehr, wenn Absatz- und Satzenden Lücken lassen. Text einfügen, um die echten Teile und ihre Token-Zahlen zu sehen.
So funktioniert’s
- Text einfügen. Ein Limit aus den Voreinstellungen (gängige Größen oder Kontextfenster von Modellen) wählen oder selbst eintippen und einige Tokens für Anweisung und Antwort freihalten.
- Die Part-Kopfzeile einschalten, wenn jeder Teil mit "Part 1/N" beginnen soll. So behalten Sie und das Modell die Reihenfolge im Blick.
- Teile einzeln kopieren oder alle als eine TXT-Datei bzw. als ZIP mit einer Datei pro Teil herunterladen.
Berechnung
Jeder Teil darf höchstens das Token-Limit minus die freigehaltenen Tokens enthalten. Gezählt wird im Browser mit den o200k_base-Tabellen (GPT-4o, GPT-4.1, GPT-5) über js-tiktoken.
Geschnitten wird an der größten passenden natürlichen Grenze: zuerst Leerzeilen zwischen Absätzen, dann einzelne Zeilenumbrüche, dann Satzenden (. ! ? und CJK-Zeichen), zuletzt Leerzeichen zwischen Wörtern. Benachbarte Stücke werden in einen Teil gepackt, bis das nächste nicht mehr passt, und die echte Token-Zahl des zusammengesetzten Textes wird geprüft.
Mit Kopfzeile stehen eine Zeile "Part i/N" und eine Leerzeile vor jedem Teil und zählen zum Limit. Platz für die längste Kopfzeile wird vorab abgezogen, kein Teil überschreitet das Limit.
Nur ein Wort, das länger als das ganze Limit ist, wird mitten im Wort geschnitten, etwa bei langen Zeichenketten wie base64 oder URLs. Das Tool meldet, wie oft.
ZIP-Dateien entstehen im Browser ohne Kompression, eine TXT-Datei pro Teil.
Häufige Fragen
Warum einen Text für ein LLM teilen?
Ein Prompt muss samt Antwort ins Kontextfenster passen. Ist der Text zu lang, kann er in Teilen mit einer Kopfzeile wie "Part 1/3" gesendet werden, und das Modell wird gebeten, erst nach allen Teilen zu antworten.
Wie nutze ich die Part-Kopfzeilen?
Mit einer Nachricht beginnen wie: "Ich sende einen langen Text in N Teilen. Antworte nur mit OK, bis ich sage, dass ich fertig bin." Dann die Teile der Reihe nach einfügen. Die Kopfzeilen halten die Reihenfolge fest.
Ist die Zählung für Claude oder Gemini exakt?
Exakt nur für o200k_base von OpenAI. Claude und Gemini zerlegen anders und veröffentlichen keinen Offline-Tokenizer, ihre Zahlen können abweichen. Mit "Tokens freihalten" lässt sich ein Puffer einplanen.
Überlappen sich die Teile?
Nein. Die Teile folgen aufeinander, ohne Text zu wiederholen. Für überlappende Fenster beim Retrieval gibt es den RAG-Chunk-Rechner.
Wird mein Text hochgeladen?
Nein. Teilen, Zählen und Downloads laufen im Browser. Nur die Tokenizer-Tabelle wird einmal von dieser Seite geladen.