Tokens pro Sekunde Rechner
Antwortzeit = TTFT + Ausgabe-Tokens ÷ Tokens pro Sekunde, also dauern 1.000 Tokens bei 50 Tok/s und 0,5 s TTFT 20,5 s. Ein lokales Modell dekodiert nicht schneller als Speicherbandbreite ÷ Modellgröße: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ 63 Tok/s.
So funktioniert’s
- Wähle Antwortzeit, um Sekunden aus einer Geschwindigkeit zu erhalten, oder Nötige Geschwindigkeit für die Tokens pro Sekunde zu einer Zielzeit.
- Gib die Ausgabe-Tokens und die Zeit bis zum ersten Token (TTFT) ein. TTFT umfasst Netzwerk, Warteschlange und das Lesen des Prompts.
- Für ein lokales Modell wähle ein Gerät oder gib seine Speicherbandbreite ein und trage die Dateigröße des Modells in GB ein. Das zweite Ergebnis ist die theoretische Obergrenze der Generierungsgeschwindigkeit.
Berechnung
Antwortzeit = TTFT + Ausgabe-Tokens ÷ Tokens pro Sekunde. 1.000 Tokens bei 50 Tokens pro Sekunde und 0,5 s TTFT dauern 0,5 + 20 = 20,5 Sekunden.
Nötige Geschwindigkeit = Ausgabe-Tokens ÷ (Zielzeit − TTFT). Um 1.000 Tokens in 10,5 Sekunden bei 0,5 s TTFT fertig zu haben, brauchst du 100 Tokens pro Sekunde. Ist das Ziel nicht länger als die TTFT, reicht keine Geschwindigkeit.
Lokale Obergrenze = Speicherbandbreite (GB/s) ÷ Modellgröße (GB). Bei Batchgröße 1 liest jedes neue Token alle Gewichte einmal aus dem Speicher, deshalb begrenzt die Bandbreite das Dekodieren und nicht die Rechenleistung. 307 GB/s und ein 4,9-GB-Modell ergeben höchstens etwa 62,7 Tokens pro Sekunde.
Grenzen der Schätzung: Die echte Geschwindigkeit ist niedriger, weil Kernels die Bandbreite nie voll nutzen und auch der KV-Cache gelesen wird, bei langen Kontexten noch mehr. Mixture-of-Experts-Modelle lesen pro Token nur ihre aktiven Gewichte, nimm dort die aktive Größe. Die Prompt-Verarbeitung ist rechenlastig und nicht enthalten. Bandbreiten: H100-Seite auf nvidia.com (SXM 3,35 TB/s, NVL 3,9 TB/s) und MacBook-Pro-Spezifikationen auf apple.com (M5 153, M5 Pro 307, M5 Max 460 oder 614 GB/s), geprüft am 16. Oktober 2026.
Zeit für 1.000 Ausgabe-Tokens
| Tokens pro Sekunde | Generierungszeit | Mit 0,5 s TTFT |
|---|---|---|
| 20 | 50 s | 50,5 s |
| 50 | 20 s | 20,5 s |
| 100 | 10 s | 10,5 s |
| 200 | 5 s | 5,5 s |
Bandbreitengrenze für ein 4,9-GB-Modell
Ein Modell mit etwa 4,9 GB entspricht einem 8B-Modell in Q4_K_M (siehe Quantisierungsgrößen-Rechner). Auf dem Apple M5 liegt die Grenze bei etwa 31 Tokens pro Sekunde, beim M5 Pro bei etwa 63, beim M5 Max mit 40-Kern-GPU bei etwa 125 und auf einer H100 SXM bei etwa 684. Gemessene Werte liegen darunter.
Häufige Fragen
Wie lange dauert eine Antwort mit 1.000 Tokens?
Bei 50 Tokens pro Sekunde 20 Sekunden Generierung plus die Zeit bis zum ersten Token. Eine Antwort mit 300 bis 500 Tokens dauert bei diesem Tempo 6 bis 10 Sekunden.
Wie schnell läuft ein Modell auf meinem Mac?
Teile die Speicherbandbreite durch die Modellgröße. Ein M5 Pro mit 307 GB/s und ein 4,9-GB-Q4-Modell haben eine Grenze von etwa 63 Tokens pro Sekunde, real ist es weniger.
Warum generieren kleinere Quantisierungen schneller?
Pro Token werden weniger Bytes gelesen. Halbiert sich die Modellgröße, verdoppelt sich die Bandbreitengrenze fast, darum läuft Q4 auf demselben Rechner schneller als Q8.
Ist die Prompt-Verarbeitung enthalten?
Nein. Das Lesen des Prompts ist rechenlastig und Teil der TTFT. Trage bei langen Prompts eine gemessene TTFT ein.