टोकन प्रति सेकंड कैलकुलेटर
रिस्पॉन्स टाइम = TTFT + आउटपुट टोकन ÷ टोकन प्रति सेकंड, इसलिए 50 टोकन/सेकंड और 0.5 सेकंड TTFT पर 1,000 टोकन में 20.5 सेकंड लगते हैं। लोकल मॉडल मेमोरी बैंडविड्थ ÷ मॉडल साइज़ से तेज़ डिकोड नहीं कर सकता: 307 GB/s (Apple M5 Pro) ÷ 4.9 GB ≈ 63 टोकन/सेकंड।
कैसे इस्तेमाल करें
- स्पीड से सेकंड पाने के लिए रिस्पॉन्स टाइम चुनें, या लक्ष्य समय के लिए टोकन प्रति सेकंड पाने के लिए ज़रूरी स्पीड चुनें।
- आउटपुट टोकन और पहले टोकन का समय (TTFT) लिखें। TTFT में नेटवर्क, कतार और प्रॉम्प्ट पढ़ने का समय शामिल है।
- लोकल मॉडल के लिए डिवाइस चुनें या उसकी मेमोरी बैंडविड्थ लिखें, और मॉडल फ़ाइल का साइज़ GB में डालें। दूसरा नतीजा जनरेशन स्पीड की सैद्धांतिक ऊपरी सीमा है।
गणना कैसे होती है
रिस्पॉन्स टाइम = TTFT + आउटपुट टोकन ÷ टोकन प्रति सेकंड। 50 टोकन प्रति सेकंड और 0.5 सेकंड TTFT पर 1,000 टोकन में 0.5 + 20 = 20.5 सेकंड लगते हैं।
ज़रूरी स्पीड = आउटपुट टोकन ÷ (लक्ष्य समय − TTFT)। 0.5 सेकंड TTFT के साथ 1,000 टोकन 10.5 सेकंड में पूरे करने के लिए 100 टोकन प्रति सेकंड चाहिए। अगर लक्ष्य TTFT से लंबा नहीं है तो कोई भी स्पीड काफ़ी नहीं।
लोकल सीमा = मेमोरी बैंडविड्थ (GB/s) ÷ मॉडल साइज़ (GB)। बैच 1 पर हर नया टोकन सभी वेट्स को मेमोरी से एक बार पढ़ता है, इसलिए डिकोडिंग कंप्यूट से नहीं, बैंडविड्थ से सीमित होती है। 307 GB/s और 4.9 GB मॉडल से अधिकतम लगभग 62.7 टोकन प्रति सेकंड मिलते हैं।
सीमा की कमियां: असली स्पीड कम होती है क्योंकि कर्नेल पूरी बैंडविड्थ इस्तेमाल नहीं कर पाते और KV कैश भी पढ़ा जाता है, लंबे कॉन्टेक्स्ट में और ज़्यादा। मिक्सचर ऑफ़ एक्सपर्ट्स मॉडल हर टोकन पर सिर्फ़ एक्टिव वेट्स पढ़ते हैं, इसलिए वहां एक्टिव साइज़ डालें। प्रॉम्प्ट प्रोसेसिंग कंप्यूट पर निर्भर है और इसमें शामिल नहीं। बैंडविड्थ के स्रोत: nvidia.com का H100 पेज (SXM 3.35 TB/s, NVL 3.9 TB/s) और apple.com के MacBook Pro स्पेसिफ़िकेशन (M5 153, M5 Pro 307, M5 Max 460 या 614 GB/s), 16 अक्टूबर 2026 को जांचे गए।
1,000 आउटपुट टोकन का समय
| टोकन प्रति सेकंड | जनरेशन समय | 0.5 सेकंड TTFT के साथ |
|---|---|---|
| 20 | 50 सेकंड | 50.5 सेकंड |
| 50 | 20 सेकंड | 20.5 सेकंड |
| 100 | 10 सेकंड | 10.5 सेकंड |
| 200 | 5 सेकंड | 5.5 सेकंड |
4.9 GB मॉडल की बैंडविड्थ सीमा
लगभग 4.9 GB का मॉडल Q4_K_M में 8B मॉडल जितना है (क्वांटाइज़ेशन साइज़ कैलकुलेटर देखें)। Apple M5 पर सीमा लगभग 31 टोकन प्रति सेकंड, M5 Pro पर लगभग 63, 40 कोर GPU वाले M5 Max पर लगभग 125 और H100 SXM पर लगभग 684 है। मापी गई स्पीड इससे कम आती है।
अक्सर पूछे जाने वाले सवाल
1,000 टोकन का जवाब कितनी देर में आता है?
50 टोकन प्रति सेकंड पर 20 सेकंड जनरेशन, उसके ऊपर पहले टोकन का समय। 300 से 500 टोकन का जवाब इस स्पीड पर 6 से 10 सेकंड लेता है।
मेरे Mac पर मॉडल कितनी तेज़ चलेगा?
मेमोरी बैंडविड्थ को मॉडल साइज़ से भाग दें। 307 GB/s वाले M5 Pro और 4.9 GB Q4 मॉडल की सीमा लगभग 63 टोकन प्रति सेकंड है, असली स्पीड इससे कम होगी।
छोटा क्वांटाइज़ेशन तेज़ क्यों चलता है?
हर टोकन पर कम बाइट पढ़े जाते हैं। मॉडल आधा करने से बैंडविड्थ सीमा लगभग दोगुनी हो जाती है, इसलिए एक ही मशीन पर Q4, Q8 से तेज़ चलता है।
क्या इसमें प्रॉम्प्ट प्रोसेसिंग शामिल है?
नहीं। प्रॉम्प्ट पढ़ना कंप्यूट पर निर्भर है और TTFT का हिस्सा है। लंबे प्रॉम्प्ट के लिए मापा हुआ TTFT डालें।