Калькулятор токенов в секунду
Время ответа = TTFT + выходные токены ÷ токены в секунду, поэтому 1 000 токенов при 50 ток/с и TTFT 0,5 с занимают 20,5 с. Локальная модель не может декодировать быстрее, чем пропускная способность памяти ÷ размер модели: 307 ГБ/с (Apple M5 Pro) ÷ 4,9 ГБ ≈ 63 ток/с.
Как пользоваться
- Выберите «Время ответа», чтобы получить секунды по скорости, или «Нужная скорость», чтобы получить токены в секунду под целевое время.
- Введите число выходных токенов и время до первого токена (TTFT). В TTFT входят сеть, очередь и чтение промпта.
- Для локальной модели выберите устройство или введите пропускную способность памяти и размер файла модели в ГБ. Второй результат показывает теоретический потолок скорости генерации.
Как считается
Время ответа = TTFT + выходные токены ÷ токены в секунду. 1 000 токенов при 50 токенах в секунду и TTFT 0,5 с занимают 0,5 + 20 = 20,5 секунды.
Нужная скорость = выходные токены ÷ (целевое время − TTFT). Чтобы выдать 1 000 токенов за 10,5 секунды при TTFT 0,5 с, нужно 100 токенов в секунду. Если цель не больше TTFT, никакой скорости не хватит.
Локальный потолок = пропускная способность памяти (ГБ/с) ÷ размер модели (ГБ). При батче 1 каждый новый токен один раз читает из памяти все веса, поэтому декодирование упирается в пропускную способность, а не в вычисления. 307 ГБ/с и модель на 4,9 ГБ дают не больше примерно 62,7 токена в секунду.
Ограничения оценки: реальная скорость ниже, потому что ядра никогда не используют всю полосу и читается ещё и KV-кэш, особенно на длинном контексте. Модели со смесью экспертов читают на токен только активные веса, поэтому вводите активный размер. Обработка промпта упирается в вычисления и здесь не учитывается. Пропускная способность: страница H100 на nvidia.com (SXM 3,35 ТБ/с, NVL 3,9 ТБ/с) и характеристики MacBook Pro на apple.com (M5 153, M5 Pro 307, M5 Max 460 или 614 ГБ/с), проверено 16 октября 2026 года.
Время на 1 000 выходных токенов
| Токенов в секунду | Время генерации | С TTFT 0,5 с |
|---|---|---|
| 20 | 50 с | 50,5 с |
| 50 | 20 с | 20,5 с |
| 100 | 10 с | 10,5 с |
| 200 | 5 с | 5,5 с |
Потолок по полосе для модели на 4,9 ГБ
Модель около 4,9 ГБ соответствует модели 8B в Q4_K_M (см. калькулятор размера квантования). На Apple M5 потолок около 31 токена в секунду, на M5 Pro около 63, на M5 Max с 40-ядерным GPU около 125, на H100 SXM около 684. Измеренная скорость будет ниже.
Частые вопросы
Сколько длится ответ на 1 000 токенов?
При 50 токенах в секунду 20 секунд генерации плюс время до первого токена. Ответ на 300 до 500 токенов при той же скорости занимает от 6 до 10 секунд.
С какой скоростью модель пойдёт на моём Mac?
Разделите пропускную способность памяти на размер модели. У M5 Pro с 307 ГБ/с и модели Q4 на 4,9 ГБ потолок около 63 токенов в секунду, а реальная скорость ниже.
Почему меньшее квантование генерирует быстрее?
На каждый токен читается меньше байт. Уменьшив модель вдвое, вы почти вдвое поднимаете потолок, поэтому на той же машине Q4 работает быстрее Q8.
Учитывается ли обработка промпта?
Нет. Чтение промпта упирается в вычисления и входит в TTFT. Для длинных промптов вводите измеренный TTFT.