LLM के लिए टेक्स्ट स्प्लिटर
20,000 टोकन के टेक्स्ट को 8,000 टोकन की सीमा से बाँटने पर कम से कम 3 हिस्से चाहिए (20,000 ÷ 8,000, ऊपर पूर्णांक), और अनुच्छेद व वाक्य के अंत से खाली जगह बचे तो थोड़े और। असली हिस्से और उनके टोकन देखने के लिए अपना टेक्स्ट पेस्ट करें।
कैसे इस्तेमाल करें
- टेक्स्ट पेस्ट करें। प्रीसेट (आम आकार या मॉडल की कॉन्टेक्स्ट विंडो) से सीमा चुनें या खुद लिखें, और अपने निर्देश व उत्तर के लिए कुछ टोकन अलग रखें।
- हर हिस्सा "Part 1/N" से शुरू कराना हो तो हेडर चालू करें, ताकि आप और मॉडल दोनों क्रम न भूलें।
- हिस्सों को एक-एक करके कॉपी करें, या सब एक TXT फ़ाइल में अथवा हर हिस्से की एक फ़ाइल वाले ZIP में डाउनलोड करें।
गणना कैसे होती है
हर हिस्से में अधिकतम टोकन सीमा घटा रखे गए टोकन तक आ सकते हैं। टोकन आपके ब्राउज़र में js-tiktoken के ज़रिये o200k_base तालिकाओं (GPT-4o, GPT-4.1 और GPT-5 परिवार) से गिने जाते हैं।
टेक्स्ट उस सबसे बड़ी स्वाभाविक सीमा पर कटता है जो समा जाए: पहले अनुच्छेदों के बीच खाली पंक्तियाँ, फिर पंक्ति-विराम, फिर वाक्य के अंत (. ! ? और CJK चिह्न), आख़िर में शब्दों के बीच खाली जगह। पास-पास के टुकड़े तब तक एक हिस्से में भरे जाते हैं जब तक अगला न समाए, और जुड़े टेक्स्ट के असली टोकन जाँचे जाते हैं।
हेडर चालू होने पर हर हिस्से के आगे "Part i/N" की पंक्ति और एक खाली पंक्ति जुड़ती है और ये भी सीमा में गिनी जाती हैं। सबसे लंबे हेडर की जगह पहले ही अलग रख दी जाती है, इसलिए कोई हिस्सा सीमा नहीं लाँघता।
केवल वही शब्द बीच से कटता है जो पूरी सीमा से लंबा हो, जैसा base64 या URL जैसी बिना खाली जगह की लंबी स्ट्रिंग में हो सकता है। टूल बताता है कि ऐसा कितनी बार हुआ।
ZIP फ़ाइलें ब्राउज़र में बिना कंप्रेशन के बनती हैं, हर हिस्से की एक TXT फ़ाइल के साथ।
अक्सर पूछे जाने वाले सवाल
LLM के लिए टेक्स्ट क्यों बाँटें?
प्रॉम्प्ट को उत्तर के साथ कॉन्टेक्स्ट विंडो में समाना होता है। टेक्स्ट बहुत लंबा हो तो "Part 1/3" जैसे हेडर के साथ हिस्सों में भेजें और मॉडल से कहें कि सब हिस्से मिलने तक उत्तर न दे।
Part हेडर का इस्तेमाल कैसे करूँ?
पहले ऐसा संदेश भेजें: "मैं एक लंबा टेक्स्ट N हिस्सों में भेजूँगा। जब तक मैं न कहूँ कि हो गया, सिर्फ़ OK लिखना।" फिर हिस्से क्रम से पेस्ट करें। हेडर क्रम साफ़ रखते हैं।
क्या गिनती Claude या Gemini के लिए भी सटीक है?
यह सिर्फ़ OpenAI के o200k_base के लिए सटीक है। Claude और Gemini टोकन अलग ढंग से बाँटते हैं और उनका ऑफ़लाइन टोकनाइज़र सार्वजनिक नहीं है, इसलिए संख्या अलग हो सकती है। सुरक्षित गुंजाइश के लिए "रखे जाने वाले टोकन" का उपयोग करें।
क्या हिस्से आपस में ओवरलैप करते हैं?
नहीं। हिस्से टेक्स्ट दोहराए बिना एक के बाद एक आते हैं। रिट्रीवल के लिए ओवरलैप वाली खिड़कियाँ चाहिए तो RAG चंक कैलकुलेटर इस्तेमाल करें।
क्या मेरा टेक्स्ट अपलोड होता है?
नहीं। बाँटना, गिनना और डाउनलोड सब आपके ब्राउज़र में होता है। सिर्फ़ टोकनाइज़र तालिका इस साइट से एक बार डाउनलोड होती है।