トークン毎秒計算
応答時間 = TTFT + 出力トークン ÷ 毎秒トークン。1,000 トークンを毎秒 50 トークン、TTFT 0.5 秒で出すと 20.5 秒です。ローカルモデルはメモリ帯域 ÷ モデルサイズより速くデコードできません。307 GB/s（Apple M5 Pro）÷ 4.9 GB ≈ 毎秒 63 トークン。
使い方
- 応答時間を選ぶと速度から秒数を、必要速度を選ぶと目標時間に必要な毎秒トークンを求めます。
- 出力トークンと TTFT（最初のトークンまでの時間）を入力します。TTFT にはネットワーク、待ち行列、プロンプトの読み込みが含まれます。
- ローカルモデルなら機器を選ぶかメモリ帯域を入力し、モデルファイルの大きさ（GB）を入れます。2 つ目の結果が生成速度の理論上限です。
計算方法
応答時間 = TTFT + 出力トークン ÷ 毎秒トークン。1,000 トークンを毎秒 50 トークン、TTFT 0.5 秒で出すと 0.5 + 20 = 20.5 秒です。
必要速度 = 出力トークン ÷（目標時間 − TTFT）。TTFT 0.5 秒で 1,000 トークンを 10.5 秒以内に終えるには毎秒 100 トークンが必要です。目標が TTFT より長くなければ、どの速度でも間に合いません。
ローカル上限 = メモリ帯域（GB/s）÷ モデルサイズ（GB）。バッチ 1 では新しいトークンごとに全重みをメモリから 1 回読むため、デコードは演算より帯域で決まります。307 GB/s で 4.9 GB のモデルなら最大約 62.7 トークン毎秒です。
上限の限界：カーネルは帯域を使い切れず、KV キャッシュも読むため、実際の速度は低く、長いコンテキストではさらに下がります。MoE モデルはトークンごとにアクティブな重みだけを読むので、アクティブ分のサイズを入れてください。プロンプト処理は演算律速で対象外です。帯域の出典：nvidia.com の H100 ページ（SXM 3.35 TB/s、NVL 3.9 TB/s）、apple.com の MacBook Pro 仕様（M5 153、M5 Pro 307、M5 Max 460 または 614 GB/s）、2026 年 10 月 16 日確認。
出力 1,000 トークンにかかる時間
| 毎秒トークン | 生成時間 | TTFT 0.5 秒込み |
|---|---|---|
| 20 | 50 秒 | 50.5 秒 |
| 50 | 20 秒 | 20.5 秒 |
| 100 | 10 秒 | 10.5 秒 |
| 200 | 5 秒 | 5.5 秒 |
4.9 GB モデルの帯域上限
約 4.9 GB のモデルは Q4_K_M の 8B モデルに相当します（量子化サイズ計算を参照）。上限は Apple M5 で毎秒約 31 トークン、M5 Pro で約 63、40 コア GPU の M5 Max で約 125、H100 SXM で約 684 です。実測はこれより低くなります。
よくある質問
1,000 トークンの回答にはどれくらいかかる？
毎秒 50 トークンなら生成に 20 秒、これに TTFT が加わります。300〜500 トークンの回答なら同じ速度で 6〜10 秒です。
自分の Mac でどれくらいの速度が出る？
メモリ帯域をモデルサイズで割ります。307 GB/s の M5 Pro と 4.9 GB の Q4 モデルなら上限は毎秒約 63 トークンで、実際はそれより遅くなります。
小さい量子化が速いのはなぜ？
トークンごとに読むバイトが減るからです。モデルサイズが半分になれば帯域上限はほぼ 2 倍になり、同じ機器でも Q4 は Q8 より速く動きます。
プロンプト処理も含まれますか？
いいえ。プロンプトの読み込みは演算律速で TTFT に含まれます。長いプロンプトでは実測の TTFT を入れてください。