Calculadora de tamaño de cuantización de LLM
Tamaño del archivo GGUF = parámetros × bits por peso ÷ 8. Con los 4,89 bits por peso medidos por llama.cpp, Llama 3.1 8B en Q4_K_M ocupa 4,58 GiB, frente a 7,95 GiB en Q8_0 y 14,96 GiB en F16 (README de quantize de llama.cpp, revisado el 16 de octubre de 2026).
Cómo se usa
- Elige un modelo para rellenar parámetros, capas, cabezas KV y dimensión de cabeza, o escribe tus propios valores de config.json.
- Define la longitud de contexto, la precisión de la caché KV y un porcentaje de sobrecarga.
- Lee la tabla: bits por peso, tamaño de archivo y memoria total de cada cuantización. El porcentaje junto al nombre es su tamaño frente a F16.
Cómo se calcula
Tamaño de archivo = parámetros × bits por peso ÷ 8. La herramienta usa los bits efectivos por peso que llama.cpp midió en Llama 3.1 8B: F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Fuente: tools/quantize/README.md del repositorio ggml-org/llama.cpp, revisado el 16 de octubre de 2026.
Son mayores que el número del nombre porque las K-quants guardan una escala y un mínimo por cada bloque de pesos, y algunos tensores, como los embeddings y la capa de salida, se mantienen con más precisión. Con 8.030 millones de parámetros la fórmula da 4,58 GiB para Q4_K_M, igual que el README.
Memoria = tamaño de archivo + caché KV + sobrecarga. Caché KV = 2 × capas × cabezas KV × dimensión de cabeza × contexto × bytes por valor, la misma fórmula de la calculadora de VRAM de GPU. La sobrecarga es un porcentaje que fijas para búferes y el entorno de ejecución.
Los resultados están en GiB (2^30 bytes). Otros modelos tienen otra mezcla de tensores, así que sus archivos reales pueden variar unos pocos puntos porcentuales.
Tamaño de archivo por modelo
| Cuantización | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 GiB | 61,02 GiB | 131,41 GiB |
| Q8_0 | 7,95 GiB | 32,42 GiB | 69,82 GiB |
| Q6_K | 6,14 GiB | 25,03 GiB | 53,91 GiB |
| Q5_K_M | 5,33 GiB | 21,75 GiB | 46,84 GiB |
| Q4_K_M | 4,58 GiB | 18,67 GiB | 40,20 GiB |
| Q3_K_M | 3,74 GiB | 15,24 GiB | 32,82 GiB |
| Q2_K | 2,95 GiB | 12,05 GiB | 25,95 GiB |
Cuál elegir
- Q4_K_M es la opción habitual: alrededor del 31 % del tamaño de F16.
- Q5_K_M y Q6_K usan un 16 % y un 34 % más de memoria que Q4_K_M y se acercan más al modelo original.
- Q8_0 ocupa cerca de la mitad de F16 y es el más cercano a él en calidad.
- Q3_K_M y Q2_K meten modelos grandes en tarjetas pequeñas, con más pérdida de calidad. El README de llama.cpp lista la perplejidad de cada tipo.
Preguntas frecuentes
¿Cuánto ocupa un modelo de 7B en Q4_K_M?
Unos 0,57 GiB por cada mil millones de parámetros, así que 7.000 millones son unos 3,99 GiB. Mistral 7B v0.3, con 7.250 millones, ocupa unos 4,13 GiB.
¿Por qué Q4_K_M tiene más de 4 bits?
Cada bloque de pesos guarda sus propios valores de escala y algunos tensores mantienen más precisión. llama.cpp midió 4,89 bits por peso en Llama 3.1 8B.
¿Cabe un modelo de 70B en 48 GB con Q4_K_M?
El archivo ocupa unos 40,2 GiB. Con 8.192 tokens de contexto la caché KV suma 2,5 GiB y con un 10 % de sobrecarga el total ronda los 47 GiB, así que va muy justo.
¿En qué se diferencia de la calculadora de VRAM de GPU?
Usa la misma fórmula de memoria, pero pone todos los tipos GGUF en una sola tabla con los bits por peso medidos para compararlos de un vistazo.