ٹوکن کاؤنٹر
Anthropic کی دستاویزی شرح (فی ٹوکن 2.5 حروف) کے مطابق 1,000 حروف تقریباً 400 ٹوکن کے بنتے ہیں، اور Google کی شرح (فی ٹوکن 4 حروف) کے مطابق تقریباً 250۔ OpenAI کی درست گنتی کے لیے اپنا متن پیسٹ کریں۔
استعمال کا طریقہ
- اپنا متن پیسٹ کریں یا ٹائپ کریں۔ کچھ بھی آپ کے براؤزر سے باہر نہیں جاتا۔
- OpenAI انکوڈنگ چنیں۔ o200k_base GPT-4o، GPT-4.1، GPT-5 اور o سیریز کے لیے ہے، cl100k_base GPT-4 اور GPT-3.5 کے لیے۔
- درست ٹوکن تعداد کے ساتھ حروف، الفاظ اور سطریں دیکھیں۔ Claude اور Gemini کی قطاریں اندازہ ہیں۔
حساب کا طریقہ
OpenAI: اوپن سورس پروجیکٹ tiktoken کی شائع کردہ اصل بائٹ پیئر انکوڈنگ جدولوں سے متن کو توڑا جاتا ہے، جو js-tiktoken پورٹ کے ذریعے آپ کے براؤزر میں چلتی ہیں۔ چنی ہوئی انکوڈنگ کے لیے گنتی درست ہے۔ جدول کی فائلیں (تقریباً 2 MB) صفحے کے ساتھ نہیں، آپ کے پہلی بار ٹائپ کرنے پر لوڈ ہوتی ہیں۔
کون سا ماڈل کون سی انکوڈنگ استعمال کرتا ہے، یہ tiktoken کی ماڈل فہرست سے طے ہوتا ہے: gpt-4o، gpt-4.1، gpt-5، o1، o3 اور o4-mini کے لیے o200k_base، اور gpt-4 اور gpt-3.5-turbo کے لیے cl100k_base۔ اس فہرست سے نئے ماڈلز کے لیے ہماری دیکھی ہوئی دستاویزات میں ٹوکنائزر کا نام شائع نہیں، اس لیے ان کے لیے o200k_base کی گنتی کو حوالہ سمجھیں۔
Claude اور Gemini کا کوئی عوامی ٹوکنائزر نہیں، اس لیے یہ قطاریں اندازہ ہیں۔ Claude: Anthropic کے ماڈل جائزے کے مطابق موجودہ ٹوکنائزر پر 1M ٹوکن تقریباً 555,000 الفاظ یا 25 لاکھ Unicode حروف کے برابر ہیں، اس لیے اندازہ حروف ÷ 2.5 اور الفاظ ÷ 0.555 ہے۔ Gemini: Google کے مطابق ایک ٹوکن تقریباً 4 حروف کا ہوتا ہے اور 100 ٹوکن تقریباً 60 سے 80 انگریزی الفاظ کے برابر ہیں، اس لیے اندازہ حروف ÷ 4 اور الفاظ × 100/80 سے 100/60 ہے۔
دکھایا گیا اندازہ نکالی گئی قدروں میں سب سے بڑی ہے، جو یہ جانچتے وقت محفوظ طرف ہے کہ متن حد میں آتا ہے یا نہیں۔ قوسین کی حد سب سے چھوٹے طریقے سے سب سے بڑے تک ہے۔
عام سوالات
ٹوکن کیا ہے؟
وہ اکائی جسے لینگویج ماڈل پڑھتا اور لکھتا ہے۔ ٹوکنائزر متن کو ٹکڑوں میں بانٹتے ہیں، جو پورے لفظ، لفظ کے حصے، اکیلے حروف یا اوقاف ہو سکتے ہیں۔ ایک ہی جملے کی ٹوکن تعداد دوسرے ماڈل میں مختلف ہو سکتی ہے۔
گنتی کتنی درست ہے؟
OpenAI کی گنتی آپ کی چنی ہوئی انکوڈنگ کے لیے درست ہے، کیونکہ یہ tiktoken والی ہی جدولیں استعمال کرتی ہے۔ یہ صرف متن گنتی ہے: چیٹ API پیغامات کے گرد جو اضافی ٹوکن جوڑتی ہے وہ اس میں شامل نہیں۔ Claude اور Gemini کی تعداد انگریزی متن کے لیے لکھی گئی دستاویزی شرحوں سے اندازہ ہے، اس لیے یہ چوک سکتی ہے، خاص طور پر اردو، کورین، جاپانی، کوڈ یا اعداد میں۔
Claude یا Gemini کی درست گنتی کیسے پاؤں؟
ان کمپنیوں کے اپنے کاؤنٹر استعمال کریں۔ Anthropic ایک مفت ٹوکن گنتی endpoint (POST /v1/messages/count_tokens) دیتی ہے، جسے اس کی دستاویزات بھی اندازہ کہتی ہیں۔ Gemini API میں countTokens ہے۔ Anthropic بتاتی ہے کہ Claude 4.7 اور بعد کے ماڈل اسی متن کے لیے پہلے کے ماڈلز سے تقریباً 30 فیصد زیادہ ٹوکن بناتے ہیں، اس لیے اسی ماڈل سے گنیں جسے آپ استعمال کریں گے۔
OpenAI کی دو انکوڈنگز کیوں ہیں؟
cl100k_base پرانی لغت ہے اور o200k_base نئی، بڑی لغت۔ کون سا ماڈل کون سی استعمال کرتا ہے، یہ tiktoken کی ماڈل فہرست سے طے ہوتا ہے۔ ایک ہی متن کو o200k_base میں اکثر کم ٹوکن ملتے ہیں۔
کیا میرا متن کہیں بھیجا جاتا ہے؟
نہیں۔ گنتی آپ کے براؤزر میں ہوتی ہے۔ ٹوکنائزر کی جدول اس سائٹ سے ایک بار ڈاؤن لوڈ ہوتی ہے اور آپ کا متن کبھی اپ لوڈ نہیں ہوتا۔