حاسبة الرموز في الثانية
زمن الاستجابة = TTFT + رموز الإخراج ÷ الرموز في الثانية، لذا تستغرق 1,000 رمز بسرعة 50 رمزًا في الثانية مع TTFT 0.5 ثانية مدة 20.5 ثانية. لا يفك النموذج المحلي الترميز أسرع من عرض نطاق الذاكرة ÷ حجم النموذج: 307 GB/s (Apple M5 Pro) ÷ 4.9 GB ≈ 63 رمزًا في الثانية.
طريقة الاستخدام
- اختر زمن الاستجابة لتحصل على الثواني من السرعة، أو السرعة المطلوبة لتحصل على الرموز في الثانية لزمن مستهدف.
- أدخل رموز الإخراج وزمن أول رمز (TTFT). يشمل TTFT الشبكة والانتظار وقراءة الطلب.
- للنموذج المحلي اختر جهازًا أو اكتب عرض نطاق ذاكرته، وأدخل حجم ملف النموذج بالغيغابايت. النتيجة الثانية هي الحد الأعلى النظري لسرعة التوليد.
طريقة الحساب
زمن الاستجابة = TTFT + رموز الإخراج ÷ الرموز في الثانية. 1,000 رمز بسرعة 50 رمزًا في الثانية مع TTFT قدره 0.5 ثانية تستغرق 0.5 + 20 = 20.5 ثانية.
السرعة المطلوبة = رموز الإخراج ÷ (الزمن المستهدف − TTFT). لإنهاء 1,000 رمز خلال 10.5 ثانية مع TTFT قدره 0.5 ثانية تحتاج 100 رمز في الثانية. إذا لم يكن الهدف أطول من TTFT فلا تكفي أي سرعة.
الحد المحلي = عرض نطاق الذاكرة (GB/s) ÷ حجم النموذج (GB). مع دفعة بحجم 1 يقرأ كل رمز جديد جميع الأوزان من الذاكرة مرة واحدة، لذا يحدّ عرض النطاق فك الترميز لا الحوسبة. عرض 307 GB/s ونموذج 4.9 GB يعطيان نحو 62.7 رمزًا في الثانية على الأكثر.
حدود التقدير: السرعة الفعلية أقل لأن النوى لا تبلغ كامل عرض النطاق، ولأن ذاكرة KV المؤقتة تُقرأ أيضًا، ويزداد ذلك مع السياق الطويل. نماذج خليط الخبراء تقرأ أوزانها النشطة فقط لكل رمز، فاستخدم الحجم النشط. معالجة الطلب محكومة بالحوسبة ولا تشملها الحسبة. أرقام عرض النطاق: صفحة H100 في nvidia.com (SXM 3.35 TB/s وNVL 3.9 TB/s) ومواصفات MacBook Pro في apple.com (M5 153 وM5 Pro 307 وM5 Max 460 أو 614 GB/s)، رُوجعت في 16 أكتوبر 2026.
الزمن اللازم لـ 1,000 رمز إخراج
| الرموز في الثانية | زمن التوليد | مع TTFT 0.5 ثانية |
|---|---|---|
| 20 | 50 ث | 50.5 ث |
| 50 | 20 ث | 20.5 ث |
| 100 | 10 ث | 10.5 ث |
| 200 | 5 ث | 5.5 ث |
حد عرض النطاق لنموذج 4.9 GB
النموذج الذي يقارب 4.9 GB يعادل نموذج 8B بتكميم Q4_K_M (راجع حاسبة حجم التكميم). على Apple M5 يبلغ الحد نحو 31 رمزًا في الثانية، وعلى M5 Pro نحو 63، وعلى M5 Max بمعالج رسوميات 40 نواة نحو 125، وعلى H100 SXM نحو 684. السرعات المقيسة تأتي أقل من ذلك.
أسئلة شائعة
كم يستغرق رد من 1,000 رمز؟
بسرعة 50 رمزًا في الثانية يستغرق التوليد 20 ثانية، يضاف إليها زمن أول رمز. الرد من 300 إلى 500 رمز يستغرق من 6 إلى 10 ثوانٍ بهذه السرعة.
ما سرعة تشغيل نموذج على جهاز Mac؟
اقسم عرض نطاق الذاكرة على حجم النموذج. جهاز M5 Pro بعرض 307 GB/s مع نموذج Q4 حجمه 4.9 GB حده نحو 63 رمزًا في الثانية، والسرعة الفعلية أقل.
لماذا يكون التكميم الأصغر أسرع في التوليد؟
لأن عدد البايتات المقروءة لكل رمز يقل. تقليص النموذج إلى النصف يضاعف حد عرض النطاق تقريبًا، ولهذا يعمل Q4 أسرع من Q8 على الجهاز نفسه.
هل تشمل الحسبة معالجة الطلب؟
لا. قراءة الطلب محكومة بالحوسبة وهي جزء من TTFT. للطلبات الطويلة أدخل قيمة TTFT مقيسة.