LLM क्वांटाइज़ेशन साइज़ कैलकुलेटर
GGUF फ़ाइल साइज़ = पैरामीटर × बिट प्रति वेट ÷ 8। llama.cpp के मापे 4.89 बिट प्रति वेट से Llama 3.1 8B का Q4_K_M 4.58 GiB है, जबकि Q8_0 7.95 GiB और F16 14.96 GiB (llama.cpp quantize README, 16 अक्टूबर 2026 को जांचा गया)।
कैसे इस्तेमाल करें
- पैरामीटर, लेयर, KV हेड और हेड डाइमेंशन भरने के लिए मॉडल चुनें, या config.json से अपने मान लिखें।
- कॉन्टेक्स्ट लंबाई, KV कैश प्रिसिज़न और ओवरहेड प्रतिशत तय करें।
- टेबल देखें: हर क्वांटाइज़ेशन के बिट प्रति वेट, फ़ाइल साइज़ और कुल मेमोरी। नाम के पास का प्रतिशत F16 की तुलना में साइज़ है।
गणना कैसे होती है
फ़ाइल साइज़ = पैरामीटर × बिट प्रति वेट ÷ 8। यह टूल वे प्रभावी बिट प्रति वेट इस्तेमाल करता है जो llama.cpp ने Llama 3.1 8B पर मापे: F16 16.00, Q8_0 8.50, Q6_K 6.56, Q5_K_M 5.70, Q4_K_M 4.89, Q3_K_M 4.00, Q2_K 3.16। स्रोत: ggml-org/llama.cpp रिपॉज़िटरी की tools/quantize/README.md, 16 अक्टूबर 2026 को जांची गई।
ये नाम के अंक से ज़्यादा हैं क्योंकि K-quant हर वेट ब्लॉक के लिए एक स्केल और एक न्यूनतम मान रखते हैं, और एम्बेडिंग व आउटपुट लेयर जैसे कुछ टेंसर ज़्यादा प्रिसिज़न में रहते हैं। 8.03 अरब पैरामीटर पर फ़ॉर्मूला Q4_K_M के लिए 4.58 GiB देता है, जो README के बराबर है।
मेमोरी = फ़ाइल साइज़ + KV कैश + ओवरहेड। KV कैश = 2 × लेयर × KV हेड × हेड डाइमेंशन × कॉन्टेक्स्ट × प्रति मान बाइट, वही फ़ॉर्मूला जो GPU VRAM कैलकुलेटर में है। ओवरहेड बफ़र और रनटाइम के लिए आपका तय किया प्रतिशत है।
नतीजे GiB (2^30 बाइट) में हैं। दूसरे मॉडल में टेंसर का मेल अलग होता है, इसलिए उनकी असली फ़ाइलें कुछ प्रतिशत अलग हो सकती हैं।
मॉडल के अनुसार फ़ाइल साइज़
| क्वांटाइज़ेशन | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14.96 GiB | 61.02 GiB | 131.41 GiB |
| Q8_0 | 7.95 GiB | 32.42 GiB | 69.82 GiB |
| Q6_K | 6.14 GiB | 25.03 GiB | 53.91 GiB |
| Q5_K_M | 5.33 GiB | 21.75 GiB | 46.84 GiB |
| Q4_K_M | 4.58 GiB | 18.67 GiB | 40.20 GiB |
| Q3_K_M | 3.74 GiB | 15.24 GiB | 32.82 GiB |
| Q2_K | 2.95 GiB | 12.05 GiB | 25.95 GiB |
कौन सा चुनें
- Q4_K_M आम डिफ़ॉल्ट है: F16 के साइज़ का लगभग 31 प्रतिशत।
- Q5_K_M और Q6_K, Q4_K_M से 16 और 34 प्रतिशत ज़्यादा मेमोरी लेते हैं और मूल मॉडल के ज़्यादा क़रीब रहते हैं।
- Q8_0, F16 का लगभग आधा है और गुणवत्ता में उसके सबसे क़रीब है।
- Q3_K_M और Q2_K बड़े मॉडल छोटे कार्ड पर चला देते हैं, पर गुणवत्ता का नुक़सान ज़्यादा होता है। llama.cpp README में हर टाइप की परप्लेक्सिटी दी गई है।
अक्सर पूछे जाने वाले सवाल
Q4_K_M में 7B मॉडल कितना बड़ा होता है?
हर एक अरब पैरामीटर पर लगभग 0.57 GiB, इसलिए 7 अरब पैरामीटर लगभग 3.99 GiB। 7.25 अरब वाला Mistral 7B v0.3 लगभग 4.13 GiB है।
Q4_K_M में 4 बिट से ज़्यादा क्यों हैं?
हर वेट ब्लॉक अपने स्केल मान रखता है और कुछ टेंसर ज़्यादा प्रिसिज़न में रहते हैं। llama.cpp ने Llama 3.1 8B पर 4.89 बिट प्रति वेट मापा।
क्या 70B मॉडल Q4_K_M में 48 GB में आ जाएगा?
फ़ाइल लगभग 40.2 GiB है। 8,192 टोकन कॉन्टेक्स्ट पर KV कैश 2.5 GiB जोड़ता है, और 10 प्रतिशत ओवरहेड के साथ कुल लगभग 47 GiB होता है, यानी बहुत तंग।
यह GPU VRAM कैलकुलेटर से कैसे अलग है?
मेमोरी का फ़ॉर्मूला वही है, पर यह सभी GGUF टाइप को मापे गए बिट प्रति वेट के साथ एक ही टेबल में रखता है ताकि एक नज़र में तुलना हो सके।