Calculadora de tokens por segundo
Tempo de resposta = TTFT + tokens de saída ÷ tokens por segundo, então 1.000 tokens a 50 tok/s com 0,5 s de TTFT levam 20,5 s. Um modelo local não decodifica mais rápido que largura de banda ÷ tamanho do modelo: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ 63 tok/s.
Como usar
- Escolha Tempo de resposta para obter segundos a partir de uma velocidade, ou Velocidade necessária para obter os tokens por segundo de um tempo alvo.
- Informe os tokens de saída e o tempo até o primeiro token (TTFT). O TTFT inclui rede, fila e leitura do prompt.
- Para um modelo local, escolha um dispositivo ou digite a largura de banda de memória e informe o tamanho do arquivo do modelo em GB. O segundo resultado é o teto teórico da velocidade de geração.
Como é calculado
Tempo de resposta = TTFT + tokens de saída ÷ tokens por segundo. 1.000 tokens a 50 tokens por segundo com 0,5 s de TTFT levam 0,5 + 20 = 20,5 segundos.
Velocidade necessária = tokens de saída ÷ (tempo alvo − TTFT). Para terminar 1.000 tokens em 10,5 segundos com 0,5 s de TTFT você precisa de 100 tokens por segundo. Se o alvo não for maior que o TTFT, nenhuma velocidade basta.
Teto local = largura de banda de memória (GB/s) ÷ tamanho do modelo (GB). Com lote 1, cada token novo lê todos os pesos da memória uma vez, então a decodificação é limitada pela largura de banda e não pelo processamento. 307 GB/s e um modelo de 4,9 GB dão no máximo cerca de 62,7 tokens por segundo.
Limites do teto: a velocidade real é menor porque os kernels nunca usam toda a largura de banda e o cache KV também é lido, ainda mais em contextos longos. Modelos de mistura de especialistas leem só os pesos ativos por token, então use o tamanho ativo. O processamento do prompt depende de computação e não entra aqui. Larguras de banda: página da H100 em nvidia.com (SXM 3,35 TB/s, NVL 3,9 TB/s) e especificações do MacBook Pro em apple.com (M5 153, M5 Pro 307, M5 Max 460 ou 614 GB/s), conferidas em 16 de outubro de 2026.
Tempo para 1.000 tokens de saída
| Tokens por segundo | Tempo de geração | Com 0,5 s de TTFT |
|---|---|---|
| 20 | 50 s | 50,5 s |
| 50 | 20 s | 20,5 s |
| 100 | 10 s | 10,5 s |
| 200 | 5 s | 5,5 s |
Teto por largura de banda para um modelo de 4,9 GB
Um modelo de cerca de 4,9 GB é um modelo de 8B em Q4_K_M (veja a calculadora de tamanho de quantização). No Apple M5 o teto fica perto de 31 tokens por segundo, no M5 Pro cerca de 63, no M5 Max com GPU de 40 núcleos cerca de 125 e numa H100 SXM cerca de 684. As velocidades medidas ficam abaixo disso.
Perguntas frequentes
Quanto tempo leva uma resposta de 1.000 tokens?
A 50 tokens por segundo são 20 segundos de geração, mais o tempo até o primeiro token. Uma resposta de 300 a 500 tokens leva de 6 a 10 segundos nessa velocidade.
Quão rápido um modelo vai rodar no meu Mac?
Divida a largura de banda de memória pelo tamanho do modelo. Um M5 Pro com 307 GB/s e um modelo Q4 de 4,9 GB tem teto de cerca de 63 tokens por segundo, e a velocidade real é menor.
Por que quantizações menores geram mais rápido?
Menos bytes são lidos por token. Cortar o modelo pela metade quase dobra o teto de largura de banda, por isso Q4 roda mais rápido que Q8 na mesma máquina.
Isso inclui o processamento do prompt?
Não. Ler o prompt depende de computação e faz parte do TTFT. Para prompts longos, informe um TTFT medido.