Divisor de texto para LLM
Um texto de 20.000 tokens com limite de 8.000 tokens precisa de pelo menos 3 partes (20.000 ÷ 8.000, arredondado para cima), e de algumas a mais quando os fins de parágrafo e de frase deixam lacunas. Cole seu texto para ver as partes reais e seus tokens.
Como usar
- Cole o texto. Escolha um limite nas predefinições (tamanhos comuns ou janelas de contexto de modelos) ou digite o seu, e reserve alguns tokens para suas instruções e a resposta.
- Ative o cabeçalho se quiser que cada parte comece com "Part 1/N", para você e o modelo não perderem a ordem.
- Copie as partes uma a uma ou baixe todas em um único arquivo TXT ou em um ZIP com um arquivo por parte.
Como é calculado
Cada parte comporta no máximo o limite de tokens menos os tokens reservados. Os tokens são contados no seu navegador com as tabelas o200k_base (família GPT-4o, GPT-4.1 e GPT-5) via js-tiktoken.
O texto é cortado no maior limite natural que couber: primeiro linhas em branco entre parágrafos, depois quebras de linha, depois fins de frase (. ! ? e os sinais CJK) e por fim espaços entre palavras. Pedaços vizinhos são agrupados em uma parte até o próximo não caber, e a contagem real do texto unido é conferida.
Com o cabeçalho ativo, uma linha "Part i/N" e uma linha em branco vão antes de cada parte e contam no limite. O espaço do cabeçalho mais longo é separado antes, então nenhuma parte estoura.
Só uma palavra maior que o limite inteiro é cortada no meio, o que pode ocorrer com cadeias longas sem espaços, como base64 ou URLs. A ferramenta informa quantas vezes.
Os ZIP são gerados no seu navegador sem compressão, com um arquivo TXT por parte.
Perguntas frequentes
Por que dividir um texto para um LLM?
Um prompt precisa caber na janela de contexto junto com a resposta. Se o texto for longo demais, você pode enviá-lo em partes com um cabeçalho como "Part 1/3" e pedir ao modelo que espere todas as partes antes de responder.
Como uso os cabeçalhos Part?
Comece com uma mensagem como: "Vou enviar um texto longo em N partes. Responda apenas OK até eu dizer que terminei." Depois cole as partes em ordem. Os cabeçalhos deixam a ordem clara.
A contagem é exata para Claude ou Gemini?
Só é exata para o o200k_base da OpenAI. Claude e Gemini tokenizam de outra forma e não publicam um tokenizador offline, então os números podem diferir. Use "Tokens a reservar" para deixar uma margem.
As partes se sobrepõem?
Não. As partes se seguem sem repetir texto. Se precisar de janelas sobrepostas para recuperação, use a Calculadora de chunks RAG.
Meu texto é enviado?
Não. Divisão, contagem e downloads acontecem no seu navegador. A tabela do tokenizador é baixada deste site uma vez.