Découpeur de texte pour LLM
Un texte de 20 000 tokens avec une limite de 8 000 tokens demande au moins 3 parties (20 000 ÷ 8 000, arrondi au supérieur), un peu plus quand les fins de paragraphes et de phrases laissent des vides. Collez votre texte pour voir les vraies parties et leurs tokens.
Mode d’emploi
- Collez le texte. Choisissez une limite parmi les préréglages (tailles courantes ou fenêtres de contexte de modèles) ou saisissez la vôtre, et gardez quelques tokens pour vos consignes et la réponse.
- Activez l'en-tête pour que chaque partie commence par « Part 1/N », afin que vous et le modèle gardiez l'ordre.
- Copiez les parties une à une, ou téléchargez-les toutes dans un seul fichier TXT ou dans un ZIP avec un fichier par partie.
Méthode de calcul
Chaque partie peut contenir au plus la limite de tokens moins les tokens réservés. Les tokens sont comptés dans votre navigateur avec les tables o200k_base (famille GPT-4o, GPT-4.1 et GPT-5) via js-tiktoken.
Le texte est coupé à la plus grande frontière naturelle qui tient : d'abord les lignes vides entre paragraphes, puis les sauts de ligne, puis les fins de phrase (. ! ? et les signes CJK), enfin les espaces entre mots. Les morceaux voisins sont regroupés dans une partie jusqu'à ce que le suivant ne tienne plus, et le vrai nombre de tokens du texte assemblé est vérifié.
Avec l'en-tête, une ligne « Part i/N » et une ligne vide précèdent chaque partie et comptent dans la limite. La place du plus long en-tête est réservée d'abord, donc aucune partie ne dépasse.
Seul un mot plus long que toute la limite est coupé en son milieu, ce qui peut arriver avec de longues chaînes sans espaces comme du base64 ou des URL. L'outil indique combien de fois.
Les ZIP sont créés dans votre navigateur sans compression, avec un fichier TXT par partie.
Questions fréquentes
Pourquoi découper un texte pour un LLM ?
Un prompt doit tenir dans la fenêtre de contexte avec la réponse. Si le texte est trop long, on peut l'envoyer par parties avec un en-tête comme « Part 1/3 » et demander au modèle d'attendre toutes les parties avant de répondre.
Comment utiliser les en-têtes Part ?
Commencez par un message du type : « Je vais envoyer un long texte en N parties. Réponds seulement OK jusqu'à ce que je dise que j'ai fini. » Collez ensuite les parties dans l'ordre. Les en-têtes clarifient l'ordre.
Le compte est-il exact pour Claude ou Gemini ?
Il n'est exact que pour o200k_base d'OpenAI. Claude et Gemini découpent autrement et ne publient pas de tokenizer hors ligne, leurs chiffres peuvent différer. Utilisez « Tokens à réserver » pour garder une marge.
Les parties se chevauchent-elles ?
Non. Les parties se suivent sans répéter le texte. Pour des fenêtres qui se chevauchent en recherche, utilisez le Calculateur de chunks RAG.
Mon texte est-il envoyé ?
Non. Le découpage, le comptage et les téléchargements se font dans votre navigateur. Seule la table du tokenizer est téléchargée une fois depuis ce site.