Calculateur de chunks RAG
Un document de 10 000 tokens découpé en chunks de 512 tokens avec 64 tokens de chevauchement donne 23 chunks et 11 408 tokens d'embedding, dont 12,3 % sont des répétitions. Chunks = 1 + plafond((tokens du document - taille) ÷ (taille - chevauchement)) ; total = tokens du document + (chunks - 1) × chevauchement.
Mode d’emploi
- Saisissez la longueur du document en tokens ou en caractères, la taille des chunks et le chevauchement. Pour le coût, ajoutez le prix d'embedding par million de tokens.
- Lisez le nombre de chunks, le total de tokens à vectoriser et combien sont répétés à cause du chevauchement.
- Pour voir où tombent les coupes, collez le texte réel. Il est tokenisé dans votre navigateur et les premiers chunks s'affichent avec le chevauchement surligné.
Méthode de calcul
Le pas entre les débuts de chunk vaut la taille moins le chevauchement. Si le document tient dans un chunk, le résultat est 1. Sinon, chunks = 1 + plafond((tokens du document - taille) ÷ pas).
Chaque chunk après le premier répète les derniers tokens de chevauchement du précédent, donc total vectorisé = tokens du document + (chunks - 1) × chevauchement. La part répétée vaut (chunks - 1) × chevauchement ÷ ce total. Le dernier chunk est le reste, souvent plus court.
Les caractères sont convertis à 4 par token, la règle pratique donnée par OpenAI pour l'anglais. Les autres langues, le code et les nombres consomment plus de tokens par caractère ; collez le texte pour un compte exact.
Le texte collé est tokenisé dans votre navigateur avec les vraies tables d'encodage par paires d'octets (js-tiktoken). L'aperçu découpe la liste de tokens dans les mêmes fenêtres et décode chacune. Des fenêtres fixes ignorent les limites de phrases et de paragraphes ; les découpeurs qui les respectent donnent des chunks inégaux et un autre compte.
Coût = tokens d'embedding ÷ 1 000 000 × le prix par million de tokens saisi. Prenez le prix sur la page tarifaire de votre fournisseur.
Questions fréquentes
Quelle taille de chunk et quel chevauchement choisir ?
Il n'y a pas de valeur universelle. On utilise souvent quelques centaines à environ mille tokens, avec 10 à 20 pour cent de chevauchement. De petits chunks donnent des correspondances plus précises mais plus de vecteurs à stocker ; de grands chunks gardent plus de contexte mais peuvent diluer la correspondance. Testez avec vos propres questions.
Le chevauchement augmente-t-il la facture d'embedding ?
Oui, chaque zone commune est vectorisée deux fois. Pour un document de 10 000 tokens en chunks de 512 avec 64 tokens de chevauchement, 1 408 des 11 408 tokens envoyés (12,3 %) sont des répétitions : vous vectorisez 14,1 % de plus que le document.
Les nombres de chunks sont-ils exacts ?
Oui pour la règle affichée : des fenêtres fixes de tokens. Les bibliothèques qui coupent par phrases, paragraphes ou titres produisent des chunks inégaux et d'autres nombres. La conversion caractères vers tokens est une estimation.
Quel tokenizer choisir ?
Celui de votre modèle d'embedding. Les modèles text-embedding-3 d'OpenAI utilisent cl100k_base. Les modèles d'autres fournisseurs ont des tokenizers absents ici ; le compte est alors une référence proche.
Mon texte est-il envoyé quelque part ?
Non. Le comptage et l'aperçu s'exécutent dans votre navigateur. La table du tokenizer est téléchargée une fois depuis ce site, et votre texte n'est jamais envoyé.