عدّاد الرموز
1,000 حرف تساوي نحو 400 رمزًا وفق النسبة الموثقة لدى Anthropic (2.5 حرف لكل رمز)، ونحو 250 وفق نسبة Google (4 أحرف لكل رمز). الصق نصك للحصول على العدد الدقيق لـ OpenAI.
طريقة الاستخدام
- الصق نصك أو اكتبه. لا يغادر شيء متصفحك.
- اختر ترميز OpenAI. يناسب o200k_base نماذج GPT-4o وGPT-4.1 وGPT-5 وسلسلة o، ويناسب cl100k_base نموذجي GPT-4 وGPT-3.5.
- اقرأ العدد الدقيق للرموز مع الأحرف والكلمات والأسطر. صفا Claude وGemini تقديران.
طريقة الحساب
OpenAI: يُقسَّم النص بجداول ترميز أزواج البايت الحقيقية التي ينشرها مشروع tiktoken مفتوح المصدر، وتعمل في متصفحك عبر نسخة js-tiktoken. العدد دقيق للترميز المختار. ملفات الجداول (نحو 2 ميغابايت) تُنزَّل عند أول كتابة لا مع الصفحة.
يتبع الترميز المستخدم لكل نموذج قائمة نماذج tiktoken: o200k_base لـ gpt-4o وgpt-4.1 وgpt-5 وo1 وo3 وo4-mini، وcl100k_base لـ gpt-4 وgpt-3.5-turbo. النماذج الأحدث من هذه القائمة ليس لها اسم مُرمِّز منشور في الوثائق التي راجعناها، فاعتبر قيمة o200k_base مرجعًا لها.
لا يوجد مُرمِّز عام لـ Claude وGemini، لذلك هذان الصفان تقديران. Claude: تذكر نظرة Anthropic العامة على النماذج أن مليون رمز يساوي نحو 555 ألف كلمة أو 2.5 مليون حرف Unicode بالمُرمِّز الحالي، فالتقدير هو عدد الأحرف ÷ 2.5 وعدد الكلمات ÷ 0.555. Gemini: تذكر Google أن الرمز نحو 4 أحرف وأن 100 رمز تساوي نحو 60 إلى 80 كلمة إنجليزية، فالتقدير هو عدد الأحرف ÷ 4 وعدد الكلمات × 100/80 إلى 100/60.
القيمة المعروضة هي الأكبر بين القيم المحسوبة، وهي الجانب الآمن عند التحقق من أن النص يتسع في الحد. والمدى بين القوسين يمتد من أصغر طريقة إلى أكبرها.
أسئلة شائعة
ما الرمز (token)؟
هو الوحدة التي يقرؤها نموذج اللغة ويكتبها. يقسّم المُرمِّز النص إلى قطع قد تكون كلمات كاملة أو أجزاء كلمات أو أحرفًا مفردة أو علامات ترقيم. وقد يختلف عدد رموز الجملة نفسها من نموذج إلى آخر.
ما دقة العدّ؟
عدد OpenAI دقيق للترميز المختار لأنه يستخدم الجداول نفسها التي يستخدمها tiktoken. وهو يعدّ النص فقط، فلا يشمل الرموز الإضافية التي تضيفها واجهة المحادثة حول الرسائل. أما Claude وGemini فتقديرات مبنية على نسب في الوثائق كُتبت للنص الإنجليزي، فقد تنحرف، وخاصة مع الكورية واليابانية والشيفرة والأرقام.
كيف أحصل على عدد دقيق لـ Claude أو Gemini؟
استخدم عدّادات الشركات نفسها. توفّر Anthropic نقطة نهاية مجانية لعدّ الرموز (POST /v1/messages/count_tokens) وتصفها وثائقها أيضًا بأنها تقدير. وفي واجهة Gemini دالة countTokens. وتشير Anthropic إلى أن نماذج Claude 4.7 وما بعدها تنتج نحو 30 بالمئة رموزًا أكثر للنص نفسه مقارنة بما قبلها، فاعدّ باستخدام النموذج الذي تنوي استخدامه.
لماذا يوجد ترميزان لـ OpenAI؟
cl100k_base هو القاموس الأقدم وo200k_base هو الأحدث والأكبر. ويتبع اختيار كل نموذج قائمة نماذج tiktoken. وغالبًا يعطي النص نفسه رموزًا أقل مع o200k_base.
هل يُرسَل نصي إلى أي مكان؟
لا. يجري العدّ في متصفحك. تُنزَّل جداول المُرمِّز مرة واحدة من هذا الموقع ولا يُرفع نصك أبدًا.