टोकन काउंटर
Anthropic के दस्तावेज़ी अनुपात (प्रति टोकन 2.5 अक्षर) से 1,000 अक्षर लगभग 400 टोकन के होते हैं, और Google के अनुपात (प्रति टोकन 4 अक्षर) से लगभग 250। OpenAI की सटीक गिनती के लिए अपना टेक्स्ट पेस्ट करें।
कैसे इस्तेमाल करें
- अपना टेक्स्ट पेस्ट करें या टाइप करें। कुछ भी आपके ब्राउज़र से बाहर नहीं जाता।
- OpenAI एन्कोडिंग चुनें। o200k_base GPT-4o, GPT-4.1, GPT-5 और o-सीरीज़ के लिए है, cl100k_base GPT-4 और GPT-3.5 के लिए।
- सटीक टोकन संख्या के साथ अक्षर, शब्द और पंक्तियाँ देखें। Claude और Gemini की पंक्तियाँ अनुमान हैं।
गणना कैसे होती है
OpenAI: ओपन-सोर्स प्रोजेक्ट tiktoken द्वारा प्रकाशित असली बाइट-पेयर एन्कोडिंग तालिकाओं से टेक्स्ट को तोड़ा जाता है, जो js-tiktoken पोर्ट के ज़रिए आपके ब्राउज़र में चलती हैं। चुनी हुई एन्कोडिंग के लिए गिनती सटीक है। तालिका की फ़ाइलें (लगभग 2 MB) पेज के साथ नहीं, आपके पहली बार टाइप करने पर डाउनलोड होती हैं।
कौन-सा मॉडल कौन-सी एन्कोडिंग इस्तेमाल करता है, यह tiktoken की मॉडल सूची से तय होता है: gpt-4o, gpt-4.1, gpt-5, o1, o3 और o4-mini के लिए o200k_base, और gpt-4 व gpt-3.5-turbo के लिए cl100k_base। इस सूची से नए मॉडलों के लिए हमारे देखे दस्तावेज़ों में टोकनाइज़र का नाम नहीं है, इसलिए उनके लिए o200k_base मान को संदर्भ मानें।
Claude और Gemini का कोई सार्वजनिक टोकनाइज़र नहीं है, इसलिए ये पंक्तियाँ अनुमान हैं। Claude: Anthropic के मॉडल अवलोकन के अनुसार मौजूदा टोकनाइज़र पर 1M टोकन लगभग 5.55 लाख शब्द या 25 लाख Unicode अक्षर के बराबर हैं, इसलिए अनुमान अक्षर ÷ 2.5 और शब्द ÷ 0.555 है। Gemini: Google के अनुसार एक टोकन लगभग 4 अक्षर का होता है और 100 टोकन लगभग 60 से 80 अंग्रेज़ी शब्दों के बराबर हैं, इसलिए अनुमान अक्षर ÷ 4 और शब्द × 100/80 से 100/60 है।
दिखाया गया मान गणना किए गए मानों में सबसे बड़ा है, जो यह जाँचते समय सुरक्षित पक्ष है कि टेक्स्ट सीमा में आता है या नहीं। कोष्ठक की सीमा सबसे छोटी विधि से सबसे बड़ी विधि तक है।
अक्सर पूछे जाने वाले सवाल
टोकन क्या है?
वह इकाई जिसे भाषा मॉडल पढ़ता और लिखता है। टोकनाइज़र टेक्स्ट को टुकड़ों में बाँटता है, जो पूरे शब्द, शब्द के हिस्से, अकेले अक्षर या विराम चिह्न हो सकते हैं। एक ही वाक्य की टोकन संख्या दूसरे मॉडल में अलग हो सकती है।
गिनती कितनी सटीक है?
OpenAI की गिनती चुनी हुई एन्कोडिंग के लिए सटीक है, क्योंकि यह tiktoken वाली ही तालिकाएँ इस्तेमाल करती है। यह केवल टेक्स्ट गिनती है: चैट API संदेशों के आसपास जो अतिरिक्त टोकन जोड़ती है, वे इसमें शामिल नहीं हैं। Claude और Gemini की संख्याएँ अंग्रेज़ी टेक्स्ट के लिए लिखे दस्तावेज़ी अनुपातों से अनुमान हैं, इसलिए ये चूक सकती हैं, खासकर कोरियाई, जापानी, कोड या संख्याओं में।
Claude या Gemini की सटीक गिनती कैसे पाऊँ?
इन कंपनियों के अपने काउंटर इस्तेमाल करें। Anthropic एक मुफ़्त टोकन गिनती endpoint (POST /v1/messages/count_tokens) देता है, जिसे उसके दस्तावेज़ भी अनुमान कहते हैं। Gemini API में countTokens है। Anthropic बताता है कि Claude 4.7 और बाद के मॉडल उसी टेक्स्ट के लिए पहले के मॉडलों से लगभग 30 प्रतिशत ज़्यादा टोकन बनाते हैं, इसलिए उसी मॉडल से गिनें जिसे आप इस्तेमाल करेंगे।
OpenAI की दो एन्कोडिंग क्यों हैं?
cl100k_base पुरानी शब्दावली है और o200k_base नई, बड़ी शब्दावली। कौन-सा मॉडल कौन-सी इस्तेमाल करता है, यह tiktoken की मॉडल सूची से तय होता है। एक ही टेक्स्ट अक्सर o200k_base में कम टोकन का निकलता है।
क्या मेरा टेक्स्ट कहीं भेजा जाता है?
नहीं। गिनती आपके ब्राउज़र में होती है। टोकनाइज़र की तालिका इस साइट से एक बार डाउनलोड होती है और आपका टेक्स्ट कभी अपलोड नहीं होता।