Calculateur de tokens par seconde
Temps de réponse = TTFT + tokens de sortie ÷ tokens par seconde, donc 1 000 tokens à 50 tok/s avec 0,5 s de TTFT prennent 20,5 s. Un modèle local ne décode pas plus vite que bande passante mémoire ÷ taille du modèle : 307 Go/s (Apple M5 Pro) ÷ 4,9 Go ≈ 63 tok/s.
Mode d’emploi
- Choisissez Temps de réponse pour obtenir des secondes à partir d'une vitesse, ou Vitesse nécessaire pour obtenir les tokens par seconde d'un temps cible.
- Saisissez les tokens de sortie et le délai du premier token (TTFT). Le TTFT comprend le réseau, la file d'attente et la lecture du prompt.
- Pour un modèle local, choisissez un appareil ou saisissez sa bande passante mémoire, puis la taille du fichier du modèle en Go. Le second résultat est le plafond théorique de la vitesse de génération.
Méthode de calcul
Temps de réponse = TTFT + tokens de sortie ÷ tokens par seconde. 1 000 tokens à 50 tokens par seconde avec 0,5 s de TTFT prennent 0,5 + 20 = 20,5 secondes.
Vitesse nécessaire = tokens de sortie ÷ (temps cible − TTFT). Pour finir 1 000 tokens en 10,5 secondes avec 0,5 s de TTFT, il faut 100 tokens par seconde. Si la cible n'est pas plus longue que le TTFT, aucune vitesse ne suffit.
Plafond local = bande passante mémoire (Go/s) ÷ taille du modèle (Go). Avec un lot de 1, chaque nouveau token relit tous les poids en mémoire, le décodage est donc limité par la bande passante et non par le calcul. 307 Go/s et un modèle de 4,9 Go donnent au plus environ 62,7 tokens par seconde.
Limites du plafond : la vitesse réelle est plus basse car les noyaux n'atteignent jamais toute la bande passante et le cache KV est lu aussi, davantage avec un long contexte. Les modèles à mélange d'experts ne lisent que leurs poids actifs à chaque token, utilisez alors la taille active. Le traitement du prompt dépend du calcul et n'est pas couvert. Bandes passantes : page H100 de nvidia.com (SXM 3,35 To/s, NVL 3,9 To/s) et fiche technique MacBook Pro d'apple.com (M5 153, M5 Pro 307, M5 Max 460 ou 614 Go/s), vérifiées le 16 octobre 2026.
Durée pour 1 000 tokens de sortie
| Tokens par seconde | Durée de génération | Avec 0,5 s de TTFT |
|---|---|---|
| 20 | 50 s | 50,5 s |
| 50 | 20 s | 20,5 s |
| 100 | 10 s | 10,5 s |
| 200 | 5 s | 5,5 s |
Plafond de bande passante pour un modèle de 4,9 Go
Un modèle d'environ 4,9 Go correspond à un modèle 8B en Q4_K_M (voir le calculateur de taille de quantification). Sur Apple M5 le plafond est d'environ 31 tokens par seconde, sur M5 Pro environ 63, sur M5 Max avec GPU 40 cœurs environ 125 et sur une H100 SXM environ 684. Les vitesses mesurées restent en dessous.
Questions fréquentes
Combien de temps prend une réponse de 1 000 tokens ?
À 50 tokens par seconde, 20 secondes de génération, plus le délai du premier token. Une réponse de 300 à 500 tokens prend 6 à 10 secondes à cette vitesse.
À quelle vitesse un modèle tournera-t-il sur mon Mac ?
Divisez la bande passante mémoire par la taille du modèle. Un M5 Pro à 307 Go/s avec un modèle Q4 de 4,9 Go plafonne à environ 63 tokens par seconde, et la vitesse réelle est plus basse.
Pourquoi les petites quantifications génèrent-elles plus vite ?
Moins d'octets sont lus pour chaque token. Diviser la taille du modèle par deux double presque le plafond, c'est pourquoi Q4 va plus vite que Q8 sur la même machine.
Le traitement du prompt est-il compris ?
Non. La lecture du prompt dépend du calcul et fait partie du TTFT. Pour un long prompt, saisissez un TTFT mesuré.