Kalkulator Ukuran Kuantisasi LLM
Ukuran berkas GGUF = parameter × bit per bobot ÷ 8. Dengan 4,89 bit per bobot hasil ukur llama.cpp, Llama 3.1 8B dalam Q4_K_M berukuran 4,58 GiB, dibanding 7,95 GiB untuk Q8_0 dan 14,96 GiB untuk F16 (README quantize llama.cpp, dicek 16 Oktober 2026).
Cara memakai
- Pilih model untuk mengisi parameter, lapisan, head KV, dan dimensi head, atau ketik nilai sendiri dari config.json.
- Atur panjang konteks, presisi cache KV, dan persentase overhead.
- Baca tabel: bit per bobot, ukuran berkas, dan total memori tiap kuantisasi. Persentase di samping nama adalah ukurannya dibanding F16.
Cara menghitung
Ukuran berkas = parameter × bit per bobot ÷ 8. Alat ini memakai bit efektif per bobot yang diukur llama.cpp pada Llama 3.1 8B: F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Sumber: tools/quantize/README.md di repositori ggml-org/llama.cpp, dicek 16 Oktober 2026.
Nilainya lebih besar dari angka di nama karena K-quant menyimpan skala dan nilai minimum untuk setiap blok bobot, dan beberapa tensor seperti embedding dan lapisan output tetap berpresisi lebih tinggi. Dengan 8,03 miliar parameter, rumus memberi 4,58 GiB untuk Q4_K_M, sama dengan README.
Memori = ukuran berkas + cache KV + overhead. Cache KV = 2 × lapisan × head KV × dimensi head × konteks × byte per nilai, rumus yang sama dengan kalkulator VRAM GPU. Overhead adalah persentase yang Anda tetapkan untuk buffer dan runtime.
Hasil dalam GiB (2^30 byte). Model lain punya campuran tensor berbeda, jadi berkas aslinya bisa berbeda beberapa persen.
Ukuran berkas per model
| Kuantisasi | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 GiB | 61,02 GiB | 131,41 GiB |
| Q8_0 | 7,95 GiB | 32,42 GiB | 69,82 GiB |
| Q6_K | 6,14 GiB | 25,03 GiB | 53,91 GiB |
| Q5_K_M | 5,33 GiB | 21,75 GiB | 46,84 GiB |
| Q4_K_M | 4,58 GiB | 18,67 GiB | 40,20 GiB |
| Q3_K_M | 3,74 GiB | 15,24 GiB | 32,82 GiB |
| Q2_K | 2,95 GiB | 12,05 GiB | 25,95 GiB |
Mana yang dipilih
- Q4_K_M adalah pilihan umum: sekitar 31 persen dari ukuran F16.
- Q5_K_M dan Q6_K memakai memori 16 dan 34 persen lebih banyak daripada Q4_K_M dan lebih dekat ke model asli.
- Q8_0 sekitar separuh F16 dan paling mendekatinya dalam kualitas.
- Q3_K_M dan Q2_K memuat model besar di kartu kecil, dengan penurunan kualitas lebih besar. README llama.cpp mencantumkan perplexity tiap tipe.
Pertanyaan umum
Berapa ukuran model 7B dalam Q4_K_M?
Sekitar 0,57 GiB per miliar parameter, jadi 7 miliar parameter sekitar 3,99 GiB. Mistral 7B v0.3 dengan 7,25 miliar sekitar 4,13 GiB.
Mengapa Q4_K_M lebih dari 4 bit?
Setiap blok bobot menyimpan nilai skalanya sendiri, dan beberapa tensor mempertahankan presisi lebih tinggi. llama.cpp mengukur 4,89 bit per bobot pada Llama 3.1 8B.
Apakah model 70B muat di 48 GB dengan Q4_K_M?
Berkasnya sekitar 40,2 GiB. Dengan konteks 8.192 token, cache KV menambah 2,5 GiB, dan dengan overhead 10 persen totalnya sekitar 47 GiB, jadi sangat pas-pasan.
Apa bedanya dengan kalkulator VRAM GPU?
Rumus memorinya sama, tetapi semua tipe GGUF ditaruh dalam satu tabel dengan bit per bobot terukur agar mudah dibandingkan sekilas.