LLM-Quantisierung Größenrechner
GGUF-Dateigröße = Parameter × Bits pro Gewicht ÷ 8. Mit den von llama.cpp gemessenen 4,89 Bit pro Gewicht hat Llama 3.1 8B in Q4_K_M 4,58 GiB, gegenüber 7,95 GiB in Q8_0 und 14,96 GiB in F16 (llama.cpp quantize README, geprüft am 16. Oktober 2026).
So funktioniert’s
- Wähle ein Modell, um Parameter, Layer, KV-Heads und Head-Dimension zu füllen, oder gib eigene Werte aus der config.json ein.
- Lege Kontextlänge, Genauigkeit des KV-Caches und einen Overhead-Prozentsatz fest.
- Lies die Tabelle: Bits pro Gewicht, Dateigröße und Gesamtspeicher je Quantisierung. Die Prozentzahl neben dem Namen ist die Größe im Verhältnis zu F16.
Berechnung
Dateigröße = Parameter × Bits pro Gewicht ÷ 8. Das Tool nutzt die effektiven Bits pro Gewicht, die llama.cpp an Llama 3.1 8B gemessen hat: F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Quelle: tools/quantize/README.md im Repository ggml-org/llama.cpp, geprüft am 16. Oktober 2026.
Die Werte liegen über der Zahl im Namen, weil K-Quants für jeden Gewichtsblock eine Skalierung und ein Minimum speichern und manche Tensoren wie Embeddings und Ausgabeschicht in höherer Genauigkeit bleiben. Mit 8,03 Milliarden Parametern ergibt die Formel 4,58 GiB für Q4_K_M, genau wie im README.
Speicher = Dateigröße + KV-Cache + Overhead. KV-Cache = 2 × Layer × KV-Heads × Head-Dimension × Kontext × Bytes pro Wert, dieselbe Formel wie im GPU-VRAM-Rechner. Der Overhead ist ein Prozentsatz, den du für Puffer und Laufzeit festlegst.
Ergebnisse in GiB (2^30 Bytes). Andere Modelle haben eine andere Mischung an Tensoren, ihre echten Dateien können daher einige Prozent abweichen.
Dateigröße nach Modell
| Quantisierung | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 GiB | 61,02 GiB | 131,41 GiB |
| Q8_0 | 7,95 GiB | 32,42 GiB | 69,82 GiB |
| Q6_K | 6,14 GiB | 25,03 GiB | 53,91 GiB |
| Q5_K_M | 5,33 GiB | 21,75 GiB | 46,84 GiB |
| Q4_K_M | 4,58 GiB | 18,67 GiB | 40,20 GiB |
| Q3_K_M | 3,74 GiB | 15,24 GiB | 32,82 GiB |
| Q2_K | 2,95 GiB | 12,05 GiB | 25,95 GiB |
Welche wählen
- Q4_K_M ist der übliche Standard: etwa 31 Prozent der F16-Größe.
- Q5_K_M und Q6_K brauchen 16 und 34 Prozent mehr Speicher als Q4_K_M und bleiben näher am Originalmodell.
- Q8_0 ist etwa halb so groß wie F16 und in der Qualität am nächsten daran.
- Q3_K_M und Q2_K bringen große Modelle auf kleine Karten, mit mehr Qualitätsverlust. Das llama.cpp-README listet die Perplexität jedes Typs.
Häufige Fragen
Wie groß ist ein 7B-Modell in Q4_K_M?
Etwa 0,57 GiB pro Milliarde Parameter, 7 Milliarden ergeben also etwa 3,99 GiB. Mistral 7B v0.3 mit 7,25 Milliarden liegt bei etwa 4,13 GiB.
Warum hat Q4_K_M mehr als 4 Bit?
Jeder Gewichtsblock speichert eigene Skalierungswerte, und einige Tensoren behalten höhere Genauigkeit. llama.cpp hat an Llama 3.1 8B 4,89 Bit pro Gewicht gemessen.
Passt ein 70B-Modell in Q4_K_M auf 48 GB?
Die Datei hat etwa 40,2 GiB. Bei 8.192 Tokens Kontext kommen 2,5 GiB KV-Cache hinzu, mit 10 Prozent Overhead sind es etwa 47 GiB, also sehr knapp.
Was unterscheidet das vom GPU-VRAM-Rechner?
Es nutzt dieselbe Speicherformel, stellt aber jeden GGUF-Typ mit gemessenen Bits pro Gewicht in eine Tabelle, damit du sie auf einen Blick vergleichen kannst.