Saniyede Token Hesaplama
Yanıt süresi = TTFT + çıktı tokenı ÷ saniyedeki token; yani saniyede 50 token ve 0,5 sn TTFT ile 1.000 token 20,5 sn sürer. Yerel bir model bellek bant genişliği ÷ model boyutundan hızlı kod çözemez: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ saniyede 63 token.
Nasıl kullanılır
- Hızdan saniye bulmak için Yanıt süresi, hedef süre için saniyedeki tokenı bulmak için Gereken hız seçeneğini seçin.
- Çıktı tokenlarını ve ilk token süresini (TTFT) girin. TTFT ağ, kuyruk ve istemin okunmasını kapsar.
- Yerel bir model için bir cihaz seçin ya da bellek bant genişliğini yazın ve model dosyasının boyutunu GB olarak girin. İkinci sonuç üretim hızının teorik üst sınırıdır.
Nasıl hesaplanır
Yanıt süresi = TTFT + çıktı tokenı ÷ saniyedeki token. Saniyede 50 token ve 0,5 sn TTFT ile 1.000 token 0,5 + 20 = 20,5 saniye sürer.
Gereken hız = çıktı tokenı ÷ (hedef süre − TTFT). 0,5 sn TTFT ile 1.000 tokenı 10,5 saniyede bitirmek için saniyede 100 token gerekir. Hedef TTFT'den uzun değilse hiçbir hız yetmez.
Yerel üst sınır = bellek bant genişliği (GB/s) ÷ model boyutu (GB). Toplu iş boyutu 1 iken her yeni token tüm ağırlıkları bellekten bir kez okur, bu yüzden kod çözme hesaplamayla değil bant genişliğiyle sınırlanır. 307 GB/s ve 4,9 GB bir model en fazla saniyede yaklaşık 62,7 token verir.
Sınırın kısıtları: çekirdekler bant genişliğinin tamamını hiç kullanamaz ve KV önbelleği de okunur, bu yüzden gerçek hız daha düşüktür, uzun bağlamlarda daha da düşer. Uzman karışımı modeller her tokenda yalnızca etkin ağırlıkları okur, orada etkin boyutu kullanın. İstem işleme hesaplamaya bağlıdır ve dahil değildir. Bant genişlikleri: nvidia.com H100 sayfası (SXM 3,35 TB/s, NVL 3,9 TB/s) ve apple.com MacBook Pro özellikleri (M5 153, M5 Pro 307, M5 Max 460 veya 614 GB/s), 16 Ekim 2026'da kontrol edildi.
1.000 çıktı tokenı için süre
| Saniyede token | Üretim süresi | 0,5 sn TTFT ile |
|---|---|---|
| 20 | 50 sn | 50,5 sn |
| 50 | 20 sn | 20,5 sn |
| 100 | 10 sn | 10,5 sn |
| 200 | 5 sn | 5,5 sn |
4,9 GB bir model için bant genişliği sınırı
Yaklaşık 4,9 GB bir model, Q4_K_M'deki 8B bir modele denk gelir (kuantizasyon boyutu hesaplayıcısına bakın). Apple M5'te sınır saniyede yaklaşık 31 token, M5 Pro'da yaklaşık 63, 40 çekirdekli GPU'lu M5 Max'te yaklaşık 125 ve H100 SXM'de yaklaşık 684'tür. Ölçülen hızlar bunların altında kalır.
Sık sorulan sorular
1.000 tokenlık bir yanıt ne kadar sürer?
Saniyede 50 tokenla 20 saniye üretim, buna ilk token süresi eklenir. 300 ile 500 tokenlık bir yanıt bu hızda 6 ile 10 saniye sürer.
Bir model Mac'imde ne kadar hızlı çalışır?
Bellek bant genişliğini model boyutuna bölün. 307 GB/s'lik bir M5 Pro ile 4,9 GB Q4 modelin sınırı saniyede yaklaşık 63 tokendir, gerçek hız daha düşüktür.
Küçük kuantizasyonlar neden daha hızlı üretir?
Token başına daha az bayt okunur. Model boyutunu yarıya indirmek bant genişliği sınırını neredeyse ikiye katlar, bu yüzden aynı makinede Q4, Q8'den hızlıdır.
İstem işleme dahil mi?
Hayır. İstemi okumak hesaplamaya bağlıdır ve TTFT'nin parçasıdır. Uzun istemler için ölçülmüş bir TTFT girin.