每秒 Token 计算器
响应时间 = TTFT + 输出 Token ÷ 每秒 Token，1,000 Token 按每秒 50 Token、TTFT 0.5 秒需要 20.5 秒。本地模型的解码速度不会超过内存带宽 ÷ 模型大小：307 GB/s（Apple M5 Pro）÷ 4.9 GB ≈ 每秒 63 Token。
使用方法
- 选「响应时间」由速度算秒数，选「所需速度」由目标时间算每秒 Token。
- 输入输出 Token 和首 Token 延迟（TTFT）。TTFT 包括网络、排队和读取提示词的时间。
- 本地模型可选择设备或输入内存带宽，并填写模型文件大小（GB）。第二个结果是生成速度的理论上限。
计算方法
响应时间 = TTFT + 输出 Token ÷ 每秒 Token。1,000 Token、每秒 50 Token、TTFT 0.5 秒，耗时 0.5 + 20 = 20.5 秒。
所需速度 = 输出 Token ÷（目标时间 − TTFT）。TTFT 0.5 秒时要在 10.5 秒内输出 1,000 Token，需要每秒 100 Token。目标时间不长于 TTFT 时，多快都来不及。
本地上限 = 内存带宽（GB/s）÷ 模型大小（GB）。批量为 1 时，每生成一个 Token 都要把全部权重从内存读一遍，所以解码受带宽限制而不是算力。307 GB/s 配 4.9 GB 模型，最多约每秒 62.7 Token。
上限的局限：内核用不满带宽，还要读取 KV 缓存，所以实际速度更低，上下文越长越明显。MoE 模型每个 Token 只读激活的权重，请填激活部分的大小。提示词处理受算力限制，不在此列。带宽来源：nvidia.com H100 页面（SXM 3.35 TB/s，NVL 3.9 TB/s），apple.com MacBook Pro 规格（M5 153、M5 Pro 307、M5 Max 460 或 614 GB/s），2026 年 10 月 16 日核对。
输出 1,000 Token 所需时间
| 每秒 Token | 生成时间 | 含 TTFT 0.5 秒 |
|---|---|---|
| 20 | 50 秒 | 50.5 秒 |
| 50 | 20 秒 | 20.5 秒 |
| 100 | 10 秒 | 10.5 秒 |
| 200 | 5 秒 | 5.5 秒 |
4.9 GB 模型的带宽上限
约 4.9 GB 的模型相当于 Q4_K_M 量化的 8B 模型（见量化大小计算器）。上限在 Apple M5 上约每秒 31 Token，M5 Pro 约 63，40 核 GPU 的 M5 Max 约 125，H100 SXM 约 684。实测速度会低于这些数值。
常见问题
1,000 Token 的回答要多久？
每秒 50 Token 时生成需要 20 秒，再加上首 Token 延迟。300 到 500 Token 的回答在这个速度下需要 6 到 10 秒。
模型在我的 Mac 上能跑多快？
用内存带宽除以模型大小。307 GB/s 的 M5 Pro 搭配 4.9 GB 的 Q4 模型，上限约每秒 63 Token，实际会更低。
为什么量化越小生成越快？
每个 Token 读取的字节更少。模型大小减半，带宽上限几乎翻倍，所以同一台机器上 Q4 比 Q8 快。
包含提示词处理吗？
不包含。读取提示词受算力限制，属于 TTFT 的一部分。提示词很长时请填入实测的 TTFT。