Máy tính giới hạn tốc độ LLM
Ở mức Start của Anthropic, Claude Sonnet 5.5 cho phép 1.000 yêu cầu, 2.000.000 token đầu vào và 400.000 token đầu ra mỗi phút, nên yêu cầu 3.000 token đầu vào và 500 token đầu ra chạy khoảng 667 mỗi phút và 100.000 yêu cầu mất 150 phút; nếu 80% đầu vào lấy từ đệm, tốc độ tăng lên 800 mỗi phút và 125 phút (giới hạn kiểm tra ngày 2026-10-16).
Cách dùng
- Chọn mức có sẵn của Claude hoặc để Tùy chỉnh rồi nhập giới hạn trong bảng điều khiển. Nhập 0 cho giới hạn không áp dụng.
- Nhập token đầu vào và đầu ra của một yêu cầu, phần đầu vào đọc từ bộ nhớ đệm prompt và việc token đệm có được loại khỏi giới hạn đầu vào hay không.
- Nhập số yêu cầu của công việc và thời gian một yêu cầu. Xem tốc độ, giới hạn chặn, thời gian, độ đồng thời và khoảng cách.
Cách tính
Yêu cầu mỗi phút = giá trị nhỏ nhất trong RPM, TPM đầu vào ÷ token đầu vào được tính, TPM đầu ra ÷ token đầu ra và TPM gộp ÷ (đầu vào được tính + đầu ra).
Token đầu vào được tính = token đầu vào × (1 − phần đệm) khi token đệm được loại trừ như phần lớn mô hình Claude; nếu không, tính toàn bộ đầu vào.
Thời gian = số yêu cầu ÷ yêu cầu mỗi phút. Nếu giới hạn ngày (RPD) nhỏ hơn mức giới hạn theo phút cho phép, mỗi ngày trọn xử lý RPD yêu cầu và phần còn lại chạy ngày cuối.
Độ đồng thời = yêu cầu mỗi giây × số giây mỗi yêu cầu, làm tròn lên (định luật Little). Khoảng cách = 60 ÷ yêu cầu mỗi phút giây.
Câu hỏi thường gặp
Giới hạn nào thường chặn trước?
Prompt dài thường bị giới hạn token đầu vào, câu trả lời dài bị giới hạn token đầu ra, yêu cầu ngắn bị giới hạn số yêu cầu. Máy tính cho biết giới hạn quyết định tốc độ.
Token đệm có bị tính vào giới hạn Claude không?
Tài liệu Anthropic ghi rằng ở phần lớn mô hình Claude chỉ token đầu vào không đệm và lượt ghi đệm mới tính vào giới hạn đầu vào mỗi phút, nên đọc đệm làm tăng tốc độ thực. Claude Haiku 3.5 là ngoại lệ.
Vì sao vẫn gặp lỗi 429 dưới giới hạn?
Giới hạn áp dụng theo khoảng ngắn bằng thuật toán token bucket, nên một đợt dồn dập có thể vượt giới hạn dù trung bình mỗi phút vẫn ổn. Hãy giãn yêu cầu theo khoảng cách hiển thị và tăng dần.
Sao không có mức sẵn của OpenAI và Gemini?
Giới hạn của họ phụ thuộc mô hình và cấp tài khoản, hiển thị trong bảng điều khiển của từng tài khoản, nên trang để nhập tùy chỉnh thay vì đoán. Hãy chép số từ trang giới hạn của bạn.