حاسبة مقاطع RAG
مستند من 10,000 رمز مقسّم إلى مقاطع من 512 رمز مع تداخل 64 رمز ينتج 23 مقطعًا و11,408 رمز تضمين، منها 12.3% مكرر. عدد المقاطع = 1 + تقريب لأعلى((رموز المستند - حجم المقطع) ÷ (حجم المقطع - التداخل))؛ الإجمالي = رموز المستند + (عدد المقاطع - 1) × التداخل.
طريقة الاستخدام
- أدخل طول المستند بالرموز أو الحروف وحجم المقطع والتداخل. للتكلفة أضف سعر التضمين لكل مليون رمز.
- اقرأ عدد المقاطع وإجمالي الرموز التي ستُضمَّن وكم منها يتكرر بسبب التداخل.
- لترى مواضع القطع الصق النص الحقيقي. يُقسَّم إلى رموز داخل متصفحك وتظهر أول المقاطع مع تمييز جزء التداخل.
طريقة الحساب
الخطوة بين بدايات المقاطع تساوي حجم المقطع ناقص التداخل. إذا اتسع المستند لمقطع واحد فالعدد 1، وإلا فعدد المقاطع = 1 + تقريب لأعلى((رموز المستند - حجم المقطع) ÷ الخطوة).
كل مقطع بعد الأول يكرر آخر رموز التداخل من سابقه، لذلك إجمالي ما يُضمَّن = رموز المستند + (عدد المقاطع - 1) × التداخل. نسبة المكرر = (عدد المقاطع - 1) × التداخل ÷ ذلك الإجمالي. المقطع الأخير هو الباقي وغالبًا ما يكون أقصر.
تُحوَّل الحروف بنسبة 4 حروف لكل رمز، وهي قاعدة تقريبية تذكرها OpenAI للنص الإنجليزي. اللغات الأخرى والشيفرة والأرقام تستهلك رموزًا أكثر لكل حرف، فالصق النص للحصول على عدد دقيق.
يُقسَّم النص الملصوق إلى رموز داخل المتصفح بجداول ترميز أزواج البايت الحقيقية (js-tiktoken). تقطع المعاينة قائمة الرموز إلى النوافذ نفسها في الصيغة ثم تفك ترميز كل نافذة. النوافذ الثابتة لا تراعي حدود الجمل والفقرات؛ والمقسّمات التي تراعيها تنتج مقاطع متفاوتة وعددًا مختلفًا.
التكلفة = رموز التضمين ÷ 1,000,000 × السعر لكل مليون رمز الذي تدخله. خذ السعر من صفحة أسعار مزوّد التضمين.
أسئلة شائعة
ما حجم المقطع والتداخل المناسبان؟
لا توجد قيمة تناسب الجميع. الشائع أحجام من بضع مئات إلى نحو ألف رمز مع تداخل بين 10 و20 بالمئة. المقاطع الصغيرة تعطي تطابقًا أدق لكنها تزيد المتجهات المخزَّنة، والكبيرة تحتفظ بسياق أكبر لكنها قد تُضعف التطابق. جرّب بأسئلتك أنت.
هل يرفع التداخل فاتورة التضمين؟
نعم، الأجزاء المتداخلة تُضمَّن مرتين. في مستند من 10,000 رمز بمقاطع 512 وتداخل 64، يكون 1,408 من الـ11,408 رمزًا المرسلة (12.3%) مكررة، أي أنك تضمّن 14.1% أكثر من المستند نفسه.
هل أعداد المقاطع دقيقة؟
نعم للقاعدة المعروضة: نوافذ ثابتة من الرموز. المكتبات التي تقسّم عند الجمل أو الفقرات أو العناوين تنتج مقاطع غير متساوية وأعدادًا مختلفة. أما تحويل الحروف إلى رموز فتقدير.
أي مُرمِّز أختار؟
الذي يستخدمه نموذج التضمين لديك. نماذج text-embedding-3 من OpenAI تستخدم cl100k_base. لدى مزوّدين آخرين مُرمِّزات غير متوفرة هنا، فالعدد مرجع قريب.
هل يُرسل نصي إلى أي مكان؟
لا. العدّ والمعاينة يعملان داخل المتصفح. يُنزَّل جدول المُرمِّز من هذا الموقع مرة واحدة ولا يُرفع نصك أبدًا.