Calculateur de taille de quantification LLM
Taille du fichier GGUF = paramètres × bits par poids ÷ 8. Avec les 4,89 bits par poids mesurés par llama.cpp, Llama 3.1 8B en Q4_K_M fait 4,58 Gio, contre 7,95 Gio en Q8_0 et 14,96 Gio en F16 (README quantize de llama.cpp, vérifié le 16 octobre 2026).
Mode d’emploi
- Choisissez un modèle pour remplir paramètres, couches, têtes KV et dimension de tête, ou saisissez vos valeurs depuis config.json.
- Réglez la longueur de contexte, la précision du cache KV et un pourcentage de surcoût.
- Lisez le tableau : bits par poids, taille du fichier et mémoire totale pour chaque quantification. Le pourcentage à côté du nom est la taille par rapport à F16.
Méthode de calcul
Taille du fichier = paramètres × bits par poids ÷ 8. L'outil utilise les bits effectifs par poids mesurés par llama.cpp sur Llama 3.1 8B : F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Source : tools/quantize/README.md du dépôt ggml-org/llama.cpp, vérifié le 16 octobre 2026.
Ces valeurs dépassent le chiffre du nom car les K-quants stockent une échelle et un minimum pour chaque bloc de poids, et certains tenseurs comme les embeddings et la couche de sortie restent en précision plus élevée. Avec 8,03 milliards de paramètres, la formule donne 4,58 Gio pour Q4_K_M, comme le README.
Mémoire = taille du fichier + cache KV + surcoût. Cache KV = 2 × couches × têtes KV × dimension de tête × contexte × octets par valeur, la même formule que le calculateur de VRAM GPU. Le surcoût est un pourcentage que vous fixez pour les tampons et l'exécution.
Les résultats sont en Gio (2^30 octets). D'autres modèles ont un autre mélange de tenseurs, leurs fichiers réels peuvent donc différer de quelques pour cent.
Taille du fichier par modèle
| Quantification | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 Gio | 61,02 Gio | 131,41 Gio |
| Q8_0 | 7,95 Gio | 32,42 Gio | 69,82 Gio |
| Q6_K | 6,14 Gio | 25,03 Gio | 53,91 Gio |
| Q5_K_M | 5,33 Gio | 21,75 Gio | 46,84 Gio |
| Q4_K_M | 4,58 Gio | 18,67 Gio | 40,20 Gio |
| Q3_K_M | 3,74 Gio | 15,24 Gio | 32,82 Gio |
| Q2_K | 2,95 Gio | 12,05 Gio | 25,95 Gio |
Laquelle choisir
- Q4_K_M est le choix courant : environ 31 % de la taille de F16.
- Q5_K_M et Q6_K utilisent 16 % et 34 % de mémoire de plus que Q4_K_M et restent plus proches du modèle d'origine.
- Q8_0 fait environ la moitié de F16 et en est le plus proche en qualité.
- Q3_K_M et Q2_K font tenir de gros modèles sur de petites cartes, avec une perte de qualité plus forte. Le README de llama.cpp donne la perplexité de chaque type.
Questions fréquentes
Quelle taille pour un modèle 7B en Q4_K_M ?
Environ 0,57 Gio par milliard de paramètres, donc environ 3,99 Gio pour 7 milliards. Mistral 7B v0.3, avec 7,25 milliards, fait environ 4,13 Gio.
Pourquoi Q4_K_M dépasse-t-il 4 bits ?
Chaque bloc de poids stocke ses propres valeurs d'échelle, et quelques tenseurs gardent une précision plus élevée. llama.cpp a mesuré 4,89 bits par poids sur Llama 3.1 8B.
Un modèle 70B tient-il dans 48 Go en Q4_K_M ?
Le fichier fait environ 40,2 Gio. Avec 8 192 tokens de contexte, le cache KV ajoute 2,5 Gio et avec 10 % de surcoût le total avoisine 47 Gio, c'est donc très juste.
En quoi est-ce différent du calculateur de VRAM GPU ?
La formule de mémoire est la même, mais tous les types GGUF sont réunis dans un seul tableau avec les bits par poids mesurés, pour les comparer d'un coup d'œil.