Calculadora de tokens por segundo
Tiempo de respuesta = TTFT + tokens de salida ÷ tokens por segundo, así que 1.000 tokens a 50 tok/s con 0,5 s de TTFT tardan 20,5 s. Un modelo local no puede decodificar más rápido que ancho de banda ÷ tamaño del modelo: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ 63 tok/s.
Cómo se usa
- Elige Tiempo de respuesta para obtener segundos a partir de una velocidad, o Velocidad necesaria para obtener los tokens por segundo de un tiempo objetivo.
- Introduce los tokens de salida y el tiempo al primer token (TTFT). El TTFT incluye red, cola y lectura del prompt.
- Para un modelo local, elige un dispositivo o escribe su ancho de banda de memoria, e indica el tamaño del archivo del modelo en GB. El segundo resultado es el techo teórico de la velocidad de generación.
Cómo se calcula
Tiempo de respuesta = TTFT + tokens de salida ÷ tokens por segundo. 1.000 tokens a 50 tokens por segundo con 0,5 s de TTFT tardan 0,5 + 20 = 20,5 segundos.
Velocidad necesaria = tokens de salida ÷ (tiempo objetivo − TTFT). Para terminar 1.000 tokens en 10,5 segundos con 0,5 s de TTFT necesitas 100 tokens por segundo. Si el objetivo no es mayor que el TTFT, ninguna velocidad basta.
Techo local = ancho de banda de memoria (GB/s) ÷ tamaño del modelo (GB). Con lote 1, cada token nuevo lee todos los pesos de la memoria una vez, así que la decodificación está limitada por el ancho de banda y no por el cómputo. 307 GB/s y un modelo de 4,9 GB dan como máximo unos 62,7 tokens por segundo.
Límites del techo: la velocidad real es menor porque los kernels nunca usan todo el ancho de banda y también se lee la caché KV, más aún con contextos largos. Los modelos de mezcla de expertos leen solo sus pesos activos por token, así que usa el tamaño activo. El procesamiento del prompt depende del cómputo y no se incluye. Anchos de banda: página de H100 en nvidia.com (SXM 3,35 TB/s, NVL 3,9 TB/s) y especificaciones de MacBook Pro en apple.com (M5 153, M5 Pro 307, M5 Max 460 o 614 GB/s), revisadas el 16 de octubre de 2026.
Tiempo para 1.000 tokens de salida
| Tokens por segundo | Tiempo de generación | Con 0,5 s de TTFT |
|---|---|---|
| 20 | 50 s | 50,5 s |
| 50 | 20 s | 20,5 s |
| 100 | 10 s | 10,5 s |
| 200 | 5 s | 5,5 s |
Techo por ancho de banda para un modelo de 4,9 GB
Un modelo de unos 4,9 GB equivale a un modelo de 8B en Q4_K_M (consulta la calculadora de tamaño de cuantización). En Apple M5 el techo ronda los 31 tokens por segundo, en M5 Pro unos 63, en M5 Max con GPU de 40 núcleos unos 125 y en una H100 SXM unos 684. Las velocidades medidas quedan por debajo.
Preguntas frecuentes
¿Cuánto tarda una respuesta de 1.000 tokens?
A 50 tokens por segundo son 20 segundos de generación, más el tiempo al primer token. Una respuesta de 300 a 500 tokens tarda de 6 a 10 segundos a esa velocidad.
¿Qué tan rápido irá un modelo en mi Mac?
Divide el ancho de banda de memoria entre el tamaño del modelo. Un M5 Pro a 307 GB/s con un modelo Q4 de 4,9 GB tiene un techo de unos 63 tokens por segundo, y la velocidad real es menor.
¿Por qué las cuantizaciones más pequeñas generan más rápido?
Se leen menos bytes por token. Reducir el modelo a la mitad casi duplica el techo de ancho de banda, por eso Q4 va más rápido que Q8 en la misma máquina.
¿Incluye el procesamiento del prompt?
No. Leer el prompt depende del cómputo y forma parte del TTFT. Para prompts largos, introduce un TTFT medido.