مقسّم النصوص لنماذج LLM
نص من 20,000 رمز بحدّ 8,000 رمز يحتاج إلى 3 أجزاء على الأقل (20,000 ÷ 8,000 مع التقريب لأعلى)، وأكثر قليلًا حين تترك نهايات الفقرات والجمل فراغات. الصق نصك لترى الأجزاء الفعلية وعدد رموزها.
طريقة الاستخدام
- الصق النص. اختر حدًّا من الإعدادات الجاهزة (أحجام شائعة أو نوافذ سياق النماذج) أو اكتب حدّك، واحجز بعض الرموز لتعليماتك وللرد.
- فعّل الترويسة إن أردت أن يبدأ كل جزء بـ"Part 1/N" حتى لا تضيع الترتيب أنت والنموذج.
- انسخ الأجزاء واحدًا واحدًا أو نزّلها جميعًا في ملف TXT واحد أو ZIP يضم ملفًّا لكل جزء.
طريقة الحساب
يتسع كل جزء لحدّ الرموز ناقص الرموز المحجوزة كحدّ أقصى. تُحسب الرموز داخل متصفحك بجداول o200k_base (عائلة GPT-4o وGPT-4.1 وGPT-5) عبر js-tiktoken.
يُقطع النص عند أكبر حدّ طبيعي يتسع: أولًا الأسطر الفارغة بين الفقرات، ثم فواصل الأسطر، ثم نهايات الجمل (. ! ? وعلامات CJK)، وأخيرًا المسافات بين الكلمات. تُجمع القطع المتجاورة في جزء حتى لا تتسع التالية، ويُتحقق من العدد الفعلي لرموز النص المجموع.
مع تفعيل الترويسة يُوضع سطر "Part i/N" وسطر فارغ قبل كل جزء ويُحتسبان ضمن الحد. يُحجز مكان أطول ترويسة أولًا فلا يتجاوز أي جزء الحد.
لا تُقطع من المنتصف إلا كلمة أطول من الحد كله، وهذا قد يحدث مع سلاسل طويلة بلا مسافات مثل base64 أو الروابط. تُبلغك الأداة بعدد المرات.
تُنشأ ملفات ZIP داخل المتصفح دون ضغط، بملف TXT لكل جزء.
أسئلة شائعة
لماذا يُقسَّم النص لنموذج LLM؟
يجب أن يتسع الطلب مع الرد في نافذة السياق. إن كان النص أطول من ذلك يمكن إرساله على أجزاء بترويسة مثل "Part 1/3" وطلب انتظار النموذج لكل الأجزاء قبل أن يجيب.
كيف أستخدم ترويسات Part؟
ابدأ برسالة مثل: "سأرسل نصًا طويلًا في N أجزاء. أجب بـ OK فقط حتى أقول إنني انتهيت." ثم الصق الأجزاء بالترتيب. تجعل الترويسات الترتيب واضحًا.
هل العدّ دقيق لـ Claude أو Gemini؟
هو دقيق فقط لـ o200k_base من OpenAI. يقسّم Claude وGemini الرموز بطريقة مختلفة ولا ينشران مُرمِّزًا غير متصل، فقد تختلف أعدادهما. استخدم "رموز محجوزة" لترك هامش أمان.
هل تتداخل الأجزاء؟
لا. تتتابع الأجزاء دون تكرار نص. إن احتجت نوافذ متداخلة للاسترجاع فاستخدم حاسبة مقاطع RAG.
هل يُرفع نصي؟
لا. التقسيم والعدّ والتنزيل كلها داخل متصفحك. يُنزَّل جدول المُرمِّز فقط من هذا الموقع مرة واحدة.