LLM Kuantizasyon Boyutu Hesaplama
GGUF dosya boyutu = parametre × ağırlık başına bit ÷ 8. llama.cpp'nin ölçtüğü 4,89 bit ile Llama 3.1 8B, Q4_K_M'de 4,58 GiB; Q8_0'da 7,95 GiB ve F16'da 14,96 GiB'tır (llama.cpp quantize README, 16 Ekim 2026'da kontrol edildi).
Nasıl kullanılır
- Parametre, katman, KV başlığı ve başlık boyutunu doldurmak için bir model seçin ya da config.json'daki değerleri kendiniz yazın.
- Bağlam uzunluğunu, KV önbellek hassasiyetini ve ek yük yüzdesini ayarlayın.
- Tabloyu okuyun: her kuantizasyon için ağırlık başına bit, dosya boyutu ve toplam bellek. Adın yanındaki yüzde, F16'ya göre boyuttur.
Nasıl hesaplanır
Dosya boyutu = parametre × ağırlık başına bit ÷ 8. Araç, llama.cpp'nin Llama 3.1 8B üzerinde ölçtüğü etkin ağırlık başına bit değerlerini kullanır: F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Kaynak: ggml-org/llama.cpp deposundaki tools/quantize/README.md, 16 Ekim 2026'da kontrol edildi.
Bu değerler adındaki sayıdan büyüktür, çünkü K-quant'lar her ağırlık bloğu için bir ölçek ve bir en küçük değer saklar, gömme ve çıktı katmanı gibi bazı tensörler daha yüksek hassasiyette kalır. 8,03 milyar parametreyle formül Q4_K_M için 4,58 GiB verir, README ile aynıdır.
Bellek = dosya boyutu + KV önbelleği + ek yük. KV önbelleği = 2 × katman × KV başlığı × başlık boyutu × bağlam × değer başına bayt; GPU VRAM hesaplayıcısıyla aynı formül. Ek yük, arabellekler ve çalışma zamanı için belirlediğiniz bir yüzdedir.
Sonuçlar GiB (2^30 bayt) cinsindendir. Diğer modellerin tensör karışımı farklı olduğu için gerçek dosyaları birkaç yüzde sapabilir.
Modele göre dosya boyutu
| Kuantizasyon | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 GiB | 61,02 GiB | 131,41 GiB |
| Q8_0 | 7,95 GiB | 32,42 GiB | 69,82 GiB |
| Q6_K | 6,14 GiB | 25,03 GiB | 53,91 GiB |
| Q5_K_M | 5,33 GiB | 21,75 GiB | 46,84 GiB |
| Q4_K_M | 4,58 GiB | 18,67 GiB | 40,20 GiB |
| Q3_K_M | 3,74 GiB | 15,24 GiB | 32,82 GiB |
| Q2_K | 2,95 GiB | 12,05 GiB | 25,95 GiB |
Hangisini seçmeli
- Q4_K_M yaygın varsayılandır: F16 boyutunun yaklaşık yüzde 31'i.
- Q5_K_M ve Q6_K, Q4_K_M'den yüzde 16 ve yüzde 34 daha fazla bellek kullanır ve özgün modele daha yakındır.
- Q8_0, F16'nın yaklaşık yarısıdır ve kalitede ona en yakın olandır.
- Q3_K_M ve Q2_K büyük modelleri küçük kartlara sığdırır, ancak kalite kaybı daha fazladır. llama.cpp README'si her türün perplexity değerini listeler.
Sık sorulan sorular
7B bir model Q4_K_M'de ne kadar yer kaplar?
Milyar parametre başına yaklaşık 0,57 GiB, yani 7 milyar parametre yaklaşık 3,99 GiB. 7,25 milyar parametreli Mistral 7B v0.3 yaklaşık 4,13 GiB'tır.
Q4_K_M neden 4 bitten fazla?
Her ağırlık bloğu kendi ölçek değerlerini saklar ve bazı tensörler daha yüksek hassasiyette kalır. llama.cpp, Llama 3.1 8B'de ağırlık başına 4,89 bit ölçtü.
70B bir model Q4_K_M ile 48 GB'a sığar mı?
Dosya yaklaşık 40,2 GiB. 8.192 tokenlık bağlamda KV önbelleği 2,5 GiB ekler, yüzde 10 ek yükle toplam yaklaşık 47 GiB olur; yani çok sıkışık.
GPU VRAM hesaplayıcısından farkı ne?
Aynı bellek formülünü kullanır ama tüm GGUF türlerini ölçülmüş ağırlık başına bit değerleriyle tek tabloya koyar, böylece bir bakışta karşılaştırırsınız.