RAG चंक कैलकुलेटर
10,000 टोकन के दस्तावेज़ को 512 टोकन के चंक और 64 टोकन ओवरलैप से बाँटने पर 23 चंक और कुल 11,408 एम्बेडिंग टोकन बनते हैं, जिनमें 12.3% दोहराव है। चंक = 1 + ऊपर पूर्णांक((दस्तावेज़ टोकन - चंक आकार) ÷ (चंक आकार - ओवरलैप)); कुल = दस्तावेज़ टोकन + (चंक - 1) × ओवरलैप।
कैसे इस्तेमाल करें
- दस्तावेज़ की लंबाई टोकन या अक्षरों में, चंक आकार और ओवरलैप डालें। लागत जाननी हो तो प्रति दस लाख टोकन एम्बेडिंग कीमत भी भरें।
- चंक की संख्या, कुल कितने टोकन एम्बेड होंगे और ओवरलैप की वजह से उनमें कितने दोहराए गए हैं, यह देखें।
- कटाव कहाँ होंगे यह देखने के लिए असली टेक्स्ट पेस्ट करें। वह आपके ब्राउज़र में टोकन में बँटता है और शुरुआती चंक ओवरलैप को हाइलाइट करके दिखते हैं।
गणना कैसे होती है
चंक की शुरुआतों के बीच का अंतर चंक आकार में से ओवरलैप घटाने पर मिलता है। दस्तावेज़ एक चंक में समा जाए तो गिनती 1 है, नहीं तो चंक = 1 + ऊपर पूर्णांक((दस्तावेज़ टोकन - चंक आकार) ÷ अंतर)।
पहले के बाद हर चंक पिछले चंक के आख़िरी ओवरलैप टोकन दोहराता है, इसलिए कुल एम्बेड होने वाले टोकन = दस्तावेज़ टोकन + (चंक - 1) × ओवरलैप। दोहराव का हिस्सा (चंक - 1) × ओवरलैप ÷ उस कुल के बराबर है। आख़िरी चंक बचा हुआ हिस्सा है, इसलिए अक्सर छोटा होता है।
अक्षरों को प्रति टोकन 4 अक्षर के हिसाब से बदला जाता है, जो अंग्रेज़ी पाठ के लिए OpenAI का मोटा नियम है। हिंदी, कोड और संख्याओं में प्रति अक्षर अधिक टोकन लगते हैं, सटीक गिनती के लिए टेक्स्ट पेस्ट करें।
पेस्ट किया टेक्स्ट असली बाइट-पेयर एन्कोडिंग तालिकाओं (js-tiktoken) से ब्राउज़र में टोकन में बाँटा जाता है। पूर्वावलोकन टोकन सूची को सूत्र वाली खिड़कियों में काटकर हर एक को वापस पाठ में बदलता है। निश्चित खिड़कियाँ वाक्य और अनुच्छेद की सीमाएँ नहीं देखतीं; सीमाएँ मानने वाले स्प्लिटर असमान चंक और अलग संख्या देते हैं।
लागत = एम्बेडिंग टोकन ÷ 1,000,000 × आपकी डाली प्रति दस लाख टोकन कीमत। कीमत अपने एम्बेडिंग प्रदाता के मूल्य पृष्ठ से लें।
अक्सर पूछे जाने वाले सवाल
चंक आकार और ओवरलैप कितना रखें?
कोई सबके लिए एक मान नहीं है। कुछ सौ से लगभग एक हज़ार टोकन के आकार और 10 से 20 प्रतिशत ओवरलैप आम हैं। छोटे चंक अधिक सटीक मिलान देते हैं पर संग्रहित वेक्टर बढ़ते हैं; बड़े चंक अधिक संदर्भ रखते हैं पर मिलान धुंधला हो सकता है। अपने सवालों से परखें।
क्या ओवरलैप से एम्बेडिंग बिल बढ़ता है?
हाँ, ओवरलैप वाले हिस्से दो बार एम्बेड होते हैं। 10,000 टोकन के दस्तावेज़ को 512 के चंक और 64 ओवरलैप से बाँटें तो भेजे गए 11,408 में से 1,408 टोकन (12.3%) दोहराव हैं, यानी दस्तावेज़ से 14.1% अधिक एम्बेड होता है।
क्या चंक की संख्या सटीक है?
दिखाए गए नियम, यानी निश्चित टोकन खिड़कियों, के लिए सटीक है। वाक्य, अनुच्छेद या शीर्षक पर बाँटने वाली लाइब्रेरी असमान चंक बनाती हैं और संख्या अलग आती है। अक्षर से टोकन में बदलना अनुमान है।
कौन सा टोकनाइज़र चुनूँ?
वही जो आपका एम्बेडिंग मॉडल इस्तेमाल करता है। OpenAI के text-embedding-3 मॉडल cl100k_base इस्तेमाल करते हैं। दूसरे प्रदाताओं के टोकनाइज़र यहाँ नहीं हैं, इसलिए गिनती एक नज़दीकी संदर्भ है।
क्या मेरा टेक्स्ट कहीं भेजा जाता है?
नहीं। गिनती और पूर्वावलोकन आपके ब्राउज़र में चलते हैं। टोकनाइज़र तालिका इसी साइट से एक बार डाउनलोड होती है, आपका टेक्स्ट कभी अपलोड नहीं होता।