Divisor de texto para LLM
Un texto de 20.000 tokens con un límite de 8000 tokens necesita al menos 3 partes (20.000 ÷ 8000, redondeado hacia arriba), y alguna más cuando los finales de párrafo y de frase dejan huecos. Pega tu texto para ver las partes reales y sus tokens.
Cómo se usa
- Pega el texto. Elige un límite entre los preajustes (tamaños habituales o ventanas de contexto de modelos) o escribe el tuyo, y reserva algunos tokens para tus instrucciones y la respuesta.
- Activa el encabezado si quieres que cada parte empiece por "Part 1/N", para que tú y el modelo no perdáis el orden.
- Copia las partes una a una o descárgalas todas en un solo archivo TXT o en un ZIP con un archivo por parte.
Cómo se calcula
Cada parte admite como máximo el límite de tokens menos los tokens que reservas. Los tokens se cuentan en tu navegador con las tablas o200k_base (familia GPT-4o, GPT-4.1 y GPT-5) mediante js-tiktoken.
El texto se corta en el límite natural más grande que quepa: primero líneas en blanco entre párrafos, luego saltos de línea, después finales de frase (. ! ? y los signos CJK) y por último espacios entre palabras. Los trozos vecinos se agrupan en una parte hasta que el siguiente no cabe, y se comprueba el recuento real del texto unido.
Con el encabezado activado, una línea "Part i/N" y una línea en blanco van delante de cada parte y cuentan para el límite. Se reserva antes el espacio del encabezado más largo, de modo que ninguna parte se pasa.
Solo una palabra más larga que todo el límite se corta por la mitad, lo que puede pasar con cadenas largas sin espacios como base64 o URL. La herramienta indica cuántas veces.
Los ZIP se generan en tu navegador sin compresión, con un archivo TXT por parte.
Preguntas frecuentes
¿Por qué dividir un texto para un LLM?
Un prompt debe caber en la ventana de contexto junto con la respuesta. Si el texto es demasiado largo, puedes enviarlo por partes con un encabezado como "Part 1/3" y pedir al modelo que espere todas las partes antes de responder.
¿Cómo uso los encabezados Part?
Empieza con un mensaje como: "Te enviaré un texto largo en N partes. Responde solo OK hasta que diga que he terminado." Luego pega las partes en orden. Los encabezados dejan claro el orden.
¿El recuento es exacto para Claude o Gemini?
Solo es exacto para o200k_base de OpenAI. Claude y Gemini tokenizan de otra forma y no publican un tokenizador sin conexión, así que sus cifras pueden diferir. Usa "Tokens a reservar" para dejar margen.
¿Las partes se solapan?
No. Las partes se suceden sin repetir texto. Si necesitas ventanas solapadas para recuperación, usa la Calculadora de chunks RAG.
¿Se sube mi texto?
No. La división, el recuento y las descargas ocurren en tu navegador. La tabla del tokenizador se descarga una vez de este sitio.