Penghitung Token
1.000 karakter setara sekitar 400 token menurut rasio yang didokumentasikan Anthropic (2,5 karakter per token) dan sekitar 250 menurut rasio Google (4 karakter per token). Tempel teks Anda untuk mendapat hitungan OpenAI yang akurat.
Cara memakai
- Tempel atau ketik teks Anda. Tidak ada yang keluar dari peramban.
- Pilih encoding OpenAI. o200k_base cocok untuk GPT-4o, GPT-4.1, GPT-5, dan seri o; cl100k_base untuk GPT-4 dan GPT-3.5.
- Lihat jumlah token yang akurat, juga karakter, kata, dan baris. Baris Claude dan Gemini adalah estimasi.
Cara menghitung
OpenAI: teks dipecah dengan tabel byte-pair encoding asli yang dipublikasikan proyek open source tiktoken, dijalankan di peramban lewat port js-tiktoken. Hitungannya akurat untuk encoding yang dipilih. File tabel (sekitar 2 MB) baru diunduh saat Anda mulai mengetik, bukan bersama halaman.
Encoding tiap model mengikuti daftar model tiktoken: o200k_base untuk gpt-4o, gpt-4.1, gpt-5, o1, o3, dan o4-mini, serta cl100k_base untuk gpt-4 dan gpt-3.5-turbo. Model yang lebih baru dari daftar itu tidak punya nama tokenizer dalam dokumentasi yang kami periksa, jadi anggap nilai o200k_base sebagai acuan.
Claude dan Gemini tidak punya tokenizer publik, jadi barisnya berupa estimasi. Claude: ikhtisar model Anthropic menyebut 1 juta token setara sekitar 555 ribu kata atau 2,5 juta karakter Unicode pada tokenizer saat ini, sehingga estimasinya karakter ÷ 2,5 dan kata ÷ 0,555. Gemini: Google menyebut satu token sekitar 4 karakter dan 100 token sekitar 60 sampai 80 kata bahasa Inggris, sehingga estimasinya karakter ÷ 4 dan kata × 100/80 sampai 100/60.
Nilai utama adalah yang terbesar dari hasil hitung, sisi yang aman saat memeriksa apakah teks muat dalam batas. Rentang dalam tanda kurung berasal dari metode terkecil hingga terbesar.
Pertanyaan umum
Apa itu token?
Satuan yang dibaca dan ditulis model bahasa. Tokenizer memecah teks menjadi potongan berupa kata utuh, bagian kata, satu karakter, atau tanda baca. Kalimat yang sama bisa punya jumlah token berbeda di model lain.
Seberapa akurat hitungannya?
Hitungan OpenAI akurat untuk encoding yang dipilih karena memakai tabel yang sama dengan tiktoken. Yang dihitung hanya teksnya: token tambahan yang ditambahkan API chat di sekitar pesan tidak termasuk. Hitungan Claude dan Gemini adalah estimasi dari rasio dokumentasi yang ditulis untuk teks bahasa Inggris, jadi bisa meleset, terutama untuk bahasa Korea, Jepang, kode, atau angka.
Bagaimana mendapat hitungan Claude atau Gemini yang akurat?
Pakai penghitung resmi masing-masing penyedia. Anthropic menyediakan endpoint penghitungan token gratis (POST /v1/messages/count_tokens), yang dalam dokumentasinya juga disebut estimasi. API Gemini punya countTokens. Anthropic menyebut model Claude 4.7 ke atas menghasilkan sekitar 30 persen lebih banyak token untuk teks yang sama dibanding model sebelumnya, jadi hitung dengan model yang akan Anda pakai.
Mengapa ada dua encoding OpenAI?
cl100k_base adalah kosakata lama dan o200k_base yang lebih baru dan lebih besar. Pemakaiannya per model mengikuti daftar model tiktoken. Teks yang sama sering menghasilkan lebih sedikit token dengan o200k_base.
Apakah teks saya dikirim ke suatu tempat?
Tidak. Penghitungan berjalan di peramban Anda. Tabel tokenizer diunduh sekali dari situs ini, dan teks Anda tidak pernah diunggah.