RAG-Chunk-Rechner
Ein Dokument mit 10.000 Tokens, in Chunks von 512 Tokens mit 64 Tokens Überlappung geteilt, ergibt 23 Chunks und 11.408 Embedding-Tokens, davon sind 12,3 % Wiederholungen. Chunks = 1 + aufrunden((Dokument-Tokens - Chunk-Größe) ÷ (Chunk-Größe - Überlappung)); Summe = Dokument-Tokens + (Chunks - 1) × Überlappung.
So funktioniert’s
- Dokumentlänge in Tokens oder Zeichen, Chunk-Größe und Überlappung eingeben. Für die Kosten zusätzlich den Embedding-Preis pro Million Tokens eintragen.
- Ablesen, wie viele Chunks entstehen, wie viele Tokens insgesamt eingebettet werden und wie viele davon wegen der Überlappung doppelt sind.
- Wer die Schnittstellen sehen will, fügt den echten Text ein. Er wird im Browser in Tokens zerlegt, die ersten Chunks erscheinen mit markierter Überlappung.
Berechnung
Der Abstand zwischen den Chunk-Anfängen ist Chunk-Größe minus Überlappung. Passt das Dokument in einen Chunk, ist das Ergebnis 1, sonst Chunks = 1 + aufrunden((Dokument-Tokens - Chunk-Größe) ÷ Abstand).
Jeder Chunk nach dem ersten wiederholt die letzten Überlappungs-Tokens des vorigen, daher gilt: eingebettete Tokens = Dokument-Tokens + (Chunks - 1) × Überlappung. Der Wiederholungsanteil ist (Chunks - 1) × Überlappung ÷ diese Summe. Der letzte Chunk ist der Rest und meist kürzer.
Zeichen werden mit 4 Zeichen pro Token umgerechnet, einer Faustregel von OpenAI für englischen Text. Andere Sprachen, Code und Zahlen brauchen mehr Tokens pro Zeichen; für eine genaue Zahl den Text einfügen.
Eingefügter Text wird im Browser mit den echten Byte-Pair-Encoding-Tabellen (js-tiktoken) zerlegt. Die Vorschau teilt die Token-Liste in dieselben Fenster wie die Formel und dekodiert jedes. Feste Fenster ignorieren Satz- und Absatzgrenzen; Splitter, die sie beachten, erzeugen ungleiche Chunks und eine andere Zahl.
Kosten = Embedding-Tokens ÷ 1.000.000 × eingegebener Preis pro Million Tokens. Den Preis der Preisseite des Anbieters entnehmen.
Häufige Fragen
Welche Chunk-Größe und Überlappung soll ich wählen?
Es gibt keinen allgemeingültigen Wert. Üblich sind einige hundert bis etwa tausend Tokens mit rund 10 bis 20 Prozent Überlappung. Kleine Chunks treffen genauer, brauchen aber mehr Vektoren; große behalten mehr Kontext, können den Treffer aber verwischen. Am besten mit eigenen Fragen testen.
Erhöht die Überlappung die Embedding-Kosten?
Ja, überlappende Teile werden zweimal eingebettet. Bei einem Dokument mit 10.000 Tokens, Chunks von 512 und 64 Tokens Überlappung sind 1.408 der 11.408 gesendeten Tokens (12,3 %) Wiederholungen, es wird also 14,1 % mehr eingebettet als das Dokument selbst enthält.
Sind die Chunk-Zahlen exakt?
Für die gezeigte Regel, feste Token-Fenster, ja. Bibliotheken, die an Sätzen, Absätzen oder Überschriften teilen, erzeugen ungleich große Chunks und andere Zahlen. Die Umrechnung von Zeichen in Tokens ist eine Schätzung.
Welchen Tokenizer wähle ich?
Den Ihres Embedding-Modells. Die text-embedding-3-Modelle von OpenAI nutzen cl100k_base. Modelle anderer Anbieter haben Tokenizer, die hier fehlen, die Zahl ist dann ein enger Richtwert.
Wird mein Text irgendwohin gesendet?
Nein. Zählen und Vorschau laufen im Browser. Die Tokenizer-Tabelle wird einmal von dieser Seite geladen, Ihr Text wird nie hochgeladen.