초당 토큰 계산기
응답 시간 = TTFT + 출력 토큰 ÷ 초당 토큰이므로 1,000토큰을 초당 50토큰, TTFT 0.5초로 내면 20.5초입니다. 로컬 모델은 메모리 대역폭 ÷ 모델 크기보다 빨리 디코딩할 수 없습니다. 307 GB/s(Apple M5 Pro) ÷ 4.9 GB ≈ 초당 63토큰.
사용 방법
- 응답 시간을 고르면 속도로 초를, 필요 속도를 고르면 목표 시간에 필요한 초당 토큰을 구합니다.
- 출력 토큰과 첫 토큰 지연(TTFT)을 넣습니다. TTFT에는 네트워크, 대기열, 프롬프트 읽기가 들어갑니다.
- 로컬 모델이라면 기기를 고르거나 메모리 대역폭을 입력하고, 모델 파일 크기(GB)를 넣습니다. 두 번째 결과가 생성 속도의 이론 상한입니다.
계산 방법
응답 시간 = TTFT + 출력 토큰 ÷ 초당 토큰. 1,000토큰을 초당 50토큰, TTFT 0.5초로 내면 0.5 + 20 = 20.5초입니다.
필요 속도 = 출력 토큰 ÷ (목표 시간 − TTFT). TTFT 0.5초에서 1,000토큰을 10.5초 안에 끝내려면 초당 100토큰이 필요합니다. 목표가 TTFT보다 길지 않으면 어떤 속도로도 안 됩니다.
로컬 상한 = 메모리 대역폭(GB/s) ÷ 모델 크기(GB). 배치 1에서는 새 토큰마다 가중치 전체를 메모리에서 한 번씩 읽으므로 디코딩은 연산보다 대역폭에 묶입니다. 307 GB/s에 4.9 GB 모델이면 최대 약 62.7토큰/초입니다.
상한의 한계: 커널이 대역폭을 다 쓰지 못하고 KV 캐시도 함께 읽기 때문에 실제 속도는 더 낮고, 컨텍스트가 길수록 더 떨어집니다. MoE 모델은 토큰마다 활성 가중치만 읽으므로 활성 크기를 넣으세요. 프롬프트 처리는 연산에 묶여 여기 들어가지 않습니다. 대역폭 출처: nvidia.com H100 페이지(SXM 3.35 TB/s, NVL 3.9 TB/s), apple.com MacBook Pro 사양(M5 153, M5 Pro 307, M5 Max 460 또는 614 GB/s), 2026년 10월 16일 확인.
출력 1,000토큰에 걸리는 시간
| 초당 토큰 | 생성 시간 | TTFT 0.5초 포함 |
|---|---|---|
| 20 | 50초 | 50.5초 |
| 50 | 20초 | 20.5초 |
| 100 | 10초 | 10.5초 |
| 200 | 5초 | 5.5초 |
4.9 GB 모델의 대역폭 상한
약 4.9 GB 모델은 Q4_K_M으로 양자화한 8B 모델 크기입니다(양자화 크기 계산기 참고). Apple M5에서 상한은 초당 약 31토큰, M5 Pro는 약 63, 40코어 GPU M5 Max는 약 125, H100 SXM은 약 684입니다. 실측 속도는 이 값보다 낮게 나옵니다.
자주 묻는 질문
1,000토큰 답변은 얼마나 걸리나요?
초당 50토큰이면 생성에 20초, 여기에 첫 토큰 지연이 더해집니다. 300~500토큰 답변이면 같은 속도에서 6~10초입니다.
내 맥에서 모델이 얼마나 빨리 돌까요?
메모리 대역폭을 모델 크기로 나누세요. 307 GB/s인 M5 Pro에 4.9 GB Q4 모델이면 상한이 초당 약 63토큰이고, 실제는 더 낮습니다.
작은 양자화가 왜 더 빠른가요?
토큰마다 읽는 바이트가 줄기 때문입니다. 모델 크기를 절반으로 줄이면 대역폭 상한이 거의 두 배가 되어, 같은 기기에서 Q4가 Q8보다 빠릅니다.
프롬프트 처리 시간도 들어가나요?
아닙니다. 프롬프트 읽기는 연산에 묶이며 TTFT에 포함됩니다. 긴 프롬프트라면 실측한 TTFT를 넣으세요.