Tính token mỗi giây
Thời gian phản hồi = TTFT + token đầu ra ÷ token mỗi giây, nên 1.000 token ở 50 token/giây với TTFT 0,5 giây mất 20,5 giây. Mô hình cục bộ không giải mã nhanh hơn băng thông bộ nhớ ÷ dung lượng mô hình: 307 GB/s (Apple M5 Pro) ÷ 4,9 GB ≈ 63 token/giây.
Cách dùng
- Chọn Thời gian phản hồi để ra số giây từ tốc độ, hoặc Tốc độ cần thiết để ra token mỗi giây cho thời gian mục tiêu.
- Nhập số token đầu ra và thời gian đến token đầu tiên (TTFT). TTFT gồm mạng, hàng đợi và thời gian đọc prompt.
- Với mô hình chạy cục bộ, chọn thiết bị hoặc nhập băng thông bộ nhớ, rồi nhập dung lượng tệp mô hình theo GB. Kết quả thứ hai là giới hạn lý thuyết của tốc độ sinh.
Cách tính
Thời gian phản hồi = TTFT + token đầu ra ÷ token mỗi giây. 1.000 token ở 50 token mỗi giây với TTFT 0,5 giây mất 0,5 + 20 = 20,5 giây.
Tốc độ cần thiết = token đầu ra ÷ (thời gian mục tiêu − TTFT). Để xong 1.000 token trong 10,5 giây với TTFT 0,5 giây, bạn cần 100 token mỗi giây. Nếu mục tiêu không dài hơn TTFT thì tốc độ nào cũng không đủ.
Giới hạn cục bộ = băng thông bộ nhớ (GB/s) ÷ dung lượng mô hình (GB). Với batch 1, mỗi token mới đọc toàn bộ trọng số từ bộ nhớ một lần, nên giải mã bị giới hạn bởi băng thông chứ không phải tính toán. 307 GB/s và mô hình 4,9 GB cho tối đa khoảng 62,7 token mỗi giây.
Hạn chế của giới hạn: tốc độ thực thấp hơn vì kernel không bao giờ dùng hết băng thông và bộ nhớ đệm KV cũng phải đọc, càng rõ khi ngữ cảnh dài. Mô hình mixture of experts chỉ đọc trọng số đang hoạt động cho mỗi token, nên hãy nhập dung lượng phần hoạt động. Xử lý prompt phụ thuộc tính toán và không nằm trong phép tính này. Số liệu băng thông: trang H100 trên nvidia.com (SXM 3,35 TB/s, NVL 3,9 TB/s) và thông số MacBook Pro trên apple.com (M5 153, M5 Pro 307, M5 Max 460 hoặc 614 GB/s), kiểm tra ngày 16 tháng 10 năm 2026.
Thời gian cho 1.000 token đầu ra
| Token mỗi giây | Thời gian sinh | Có TTFT 0,5 giây |
|---|---|---|
| 20 | 50 giây | 50,5 giây |
| 50 | 20 giây | 20,5 giây |
| 100 | 10 giây | 10,5 giây |
| 200 | 5 giây | 5,5 giây |
Giới hạn băng thông cho mô hình 4,9 GB
Mô hình khoảng 4,9 GB tương đương mô hình 8B ở Q4_K_M (xem công cụ tính dung lượng lượng tử hóa). Trên Apple M5 giới hạn khoảng 31 token mỗi giây, M5 Pro khoảng 63, M5 Max GPU 40 nhân khoảng 125 và H100 SXM khoảng 684. Tốc độ đo được sẽ thấp hơn các con số này.
Câu hỏi thường gặp
Câu trả lời 1.000 token mất bao lâu?
Ở 50 token mỗi giây là 20 giây sinh, cộng thêm thời gian đến token đầu tiên. Câu trả lời 300 đến 500 token mất 6 đến 10 giây ở tốc độ đó.
Mô hình chạy trên Mac của tôi nhanh đến đâu?
Lấy băng thông bộ nhớ chia cho dung lượng mô hình. M5 Pro 307 GB/s với mô hình Q4 4,9 GB có giới hạn khoảng 63 token mỗi giây, và tốc độ thực thấp hơn.
Vì sao lượng tử hóa nhỏ hơn lại sinh nhanh hơn?
Mỗi token đọc ít byte hơn. Giảm mô hình còn một nửa gần như nhân đôi giới hạn băng thông, vì thế Q4 chạy nhanh hơn Q8 trên cùng một máy.
Có tính thời gian xử lý prompt không?
Không. Đọc prompt phụ thuộc tính toán và nằm trong TTFT. Với prompt dài, hãy nhập TTFT đo thực tế.