Калькулятор размера квантования LLM
Размер файла GGUF = параметры × биты на вес ÷ 8. С измеренными llama.cpp 4,89 бита на вес Llama 3.1 8B в Q4_K_M занимает 4,58 ГиБ, против 7,95 ГиБ в Q8_0 и 14,96 ГиБ в F16 (README quantize llama.cpp, проверено 16 октября 2026 года).
Как пользоваться
- Выберите модель, чтобы заполнить параметры, слои, KV-головы и размерность головы, или введите свои значения из config.json.
- Задайте длину контекста, точность KV-кэша и процент накладных расходов.
- Смотрите таблицу: биты на вес, размер файла и общую память для каждого квантования. Процент рядом с названием показывает размер относительно F16.
Как считается
Размер файла = параметры × биты на вес ÷ 8. Используются эффективные биты на вес, измеренные llama.cpp на Llama 3.1 8B: F16 16,00, Q8_0 8,50, Q6_K 6,56, Q5_K_M 5,70, Q4_K_M 4,89, Q3_K_M 4,00, Q2_K 3,16. Источник: tools/quantize/README.md в репозитории ggml-org/llama.cpp, проверено 16 октября 2026 года.
Значения больше числа в названии, потому что K-квантования хранят масштаб и минимум для каждого блока весов, а часть тензоров, например эмбеддинги и выходной слой, остаётся в более высокой точности. Для 8,03 млрд параметров формула даёт 4,58 ГиБ для Q4_K_M, как и в README.
Память = размер файла + KV-кэш + накладные расходы. KV-кэш = 2 × слои × KV-головы × размерность головы × контекст × байт на значение, та же формула, что в калькуляторе VRAM. Накладные расходы задаются процентом для буферов и среды выполнения.
Результаты в ГиБ (2^30 байт). У других моделей иной набор тензоров, поэтому реальные файлы могут отличаться на несколько процентов.
Размер файла по моделям
| Квантование | Llama 3.1 8B | Qwen2.5 32B | Llama 3.1 70B |
|---|---|---|---|
| F16 | 14,96 GiB | 61,02 GiB | 131,41 GiB |
| Q8_0 | 7,95 GiB | 32,42 GiB | 69,82 GiB |
| Q6_K | 6,14 GiB | 25,03 GiB | 53,91 GiB |
| Q5_K_M | 5,33 GiB | 21,75 GiB | 46,84 GiB |
| Q4_K_M | 4,58 GiB | 18,67 GiB | 40,20 GiB |
| Q3_K_M | 3,74 GiB | 15,24 GiB | 32,82 GiB |
| Q2_K | 2,95 GiB | 12,05 GiB | 25,95 GiB |
Что выбрать
- Q4_K_M это обычный выбор по умолчанию: около 31 процента от размера F16.
- Q5_K_M и Q6_K занимают на 16 и 34 процента больше памяти, чем Q4_K_M, и ближе к исходной модели.
- Q8_0 примерно вдвое меньше F16 и ближе всех к нему по качеству.
- Q3_K_M и Q2_K помещают большие модели на маленькие карты, но качество теряется сильнее. В README llama.cpp указана перплексия для каждого типа.
Частые вопросы
Сколько весит модель 7B в Q4_K_M?
Около 0,57 ГиБ на миллиард параметров, то есть около 3,99 ГиБ для 7 млрд. Mistral 7B v0.3 с 7,25 млрд параметров занимает около 4,13 ГиБ.
Почему в Q4_K_M больше 4 бит?
Каждый блок весов хранит свои масштабы, а часть тензоров остаётся в более высокой точности. llama.cpp измерил 4,89 бита на вес у Llama 3.1 8B.
Поместится ли модель 70B в 48 ГБ в Q4_K_M?
Файл около 40,2 ГиБ. При контексте 8 192 токена KV-кэш добавляет 2,5 ГиБ, а с 10 процентами накладных расходов итог около 47 ГиБ, то есть впритык.
Чем это отличается от калькулятора VRAM?
Формула памяти та же, но все типы GGUF собраны в одну таблицу с измеренными битами на вес, чтобы сравнить их одним взглядом.