Kalkulator Token per Detik
Waktu respons = TTFT + token output ÷ token per detik, jadi 1.000 token pada 50 tok/dtk dengan TTFT 0,5 detik butuh 20,5 detik. Model lokal tidak bisa decoding lebih cepat dari bandwidth memori ÷ ukuran model: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ 63 tok/dtk.
Cara memakai
- Pilih Waktu respons untuk mendapat detik dari kecepatan, atau Kecepatan yang dibutuhkan untuk mendapat token per detik dari waktu target.
- Masukkan token output dan waktu ke token pertama (TTFT). TTFT mencakup jaringan, antrean, dan pembacaan prompt.
- Untuk model lokal, pilih perangkat atau ketik bandwidth memorinya, lalu isi ukuran berkas model dalam GB. Hasil kedua adalah batas teoretis kecepatan generasi.
Cara menghitung
Waktu respons = TTFT + token output ÷ token per detik. 1.000 token pada 50 token per detik dengan TTFT 0,5 detik butuh 0,5 + 20 = 20,5 detik.
Kecepatan yang dibutuhkan = token output ÷ (waktu target − TTFT). Untuk menyelesaikan 1.000 token dalam 10,5 detik dengan TTFT 0,5 detik, Anda butuh 100 token per detik. Jika target tidak lebih lama dari TTFT, tidak ada kecepatan yang cukup.
Batas lokal = bandwidth memori (GB/s) ÷ ukuran model (GB). Dengan batch 1, setiap token baru membaca semua bobot dari memori sekali, jadi decoding dibatasi bandwidth, bukan komputasi. 307 GB/s dan model 4,9 GB memberi paling banyak sekitar 62,7 token per detik.
Keterbatasan: kecepatan nyata lebih rendah karena kernel tidak pernah memakai seluruh bandwidth dan cache KV juga dibaca, terlebih pada konteks panjang. Model mixture of experts hanya membaca bobot aktif per token, jadi pakai ukuran aktifnya. Pemrosesan prompt dibatasi komputasi dan tidak dicakup. Angka bandwidth: halaman H100 di nvidia.com (SXM 3,35 TB/s, NVL 3,9 TB/s) dan spesifikasi MacBook Pro di apple.com (M5 153, M5 Pro 307, M5 Max 460 atau 614 GB/s), dicek 16 Oktober 2026.
Waktu untuk 1.000 token output
| Token per detik | Waktu generasi | Dengan TTFT 0,5 detik |
|---|---|---|
| 20 | 50 dtk | 50,5 dtk |
| 50 | 20 dtk | 20,5 dtk |
| 100 | 10 dtk | 10,5 dtk |
| 200 | 5 dtk | 5,5 dtk |
Batas bandwidth untuk model 4,9 GB
Model sekitar 4,9 GB setara model 8B dalam Q4_K_M (lihat kalkulator ukuran kuantisasi). Di Apple M5 batasnya sekitar 31 token per detik, di M5 Pro sekitar 63, di M5 Max dengan GPU 40 inti sekitar 125, dan di H100 SXM sekitar 684. Kecepatan terukur berada di bawah angka ini.
Pertanyaan umum
Berapa lama jawaban 1.000 token?
Pada 50 token per detik butuh 20 detik generasi, ditambah waktu ke token pertama. Jawaban 300 sampai 500 token butuh 6 sampai 10 detik pada kecepatan itu.
Seberapa cepat model berjalan di Mac saya?
Bagi bandwidth memori dengan ukuran model. M5 Pro dengan 307 GB/s dan model Q4 4,9 GB punya batas sekitar 63 token per detik, dan kecepatan nyatanya lebih rendah.
Mengapa kuantisasi yang lebih kecil lebih cepat?
Byte yang dibaca per token lebih sedikit. Memperkecil model separuhnya hampir menggandakan batas bandwidth, itulah sebabnya Q4 lebih cepat daripada Q8 di mesin yang sama.
Apakah pemrosesan prompt termasuk?
Tidak. Membaca prompt dibatasi komputasi dan menjadi bagian dari TTFT. Untuk prompt panjang, masukkan TTFT hasil ukur.