Token Sayacı
1.000 karakter, Anthropic’in belgelediği orana (token başına 2,5 karakter) göre yaklaşık 400, Google’ın oranına (token başına 4 karakter) göre yaklaşık 250 token eder. Kesin OpenAI sayısı için kendi metninizi yapıştırın.
Nasıl kullanılır
- Metninizi yapıştırın veya yazın. Hiçbir şey tarayıcınızdan çıkmaz.
- OpenAI kodlamasını seçin. o200k_base GPT-4o, GPT-4.1, GPT-5 ve o serisine, cl100k_base GPT-4 ve GPT-3.5’e uyar.
- Kesin token sayısını, ayrıca karakter, sözcük ve satır sayısını okuyun. Claude ve Gemini satırları tahmindir.
Nasıl hesaplanır
OpenAI: Metin, açık kaynaklı tiktoken projesinin yayımladığı gerçek bayt çifti kodlama tablolarıyla, js-tiktoken uyarlaması üzerinden tarayıcınızda bölünür. Sayı, seçilen kodlama için kesindir. Tablo dosyaları (yaklaşık 2 MB) sayfayla değil, ilk yazışınızda indirilir.
Bir modelin hangi kodlamayı kullandığı tiktoken’ın model listesine göre belirlenir: gpt-4o, gpt-4.1, gpt-5, o1, o3 ve o4-mini için o200k_base; gpt-4 ve gpt-3.5-turbo için cl100k_base. Bu listeden yeni modellerin baktığımız belgelerde belirtilmiş bir tokenizer adı yoktur; o200k_base değerini referans olarak görün.
Claude ve Gemini’nin herkese açık bir tokenizer’ı olmadığından bu satırlar tahmindir. Claude: Anthropic’in model genel bakışı, güncel tokenizer ile 1 M token’ın yaklaşık 555 bin sözcük veya 2,5 M Unicode karakter olduğunu söyler; tahmin karakter ÷ 2,5 ve sözcük ÷ 0,555’tir. Gemini: Google bir token’ın yaklaşık 4 karakter, 100 token’ın yaklaşık 60 ila 80 İngilizce sözcük olduğunu belirtir; tahmin karakter ÷ 4 ve sözcük × 100/80 ila 100/60’tır.
Öne çıkan değer hesaplananların en büyüğüdür; bir metnin sınıra sığıp sığmadığına bakarken güvenli taraftır. Parantez içindeki aralık en küçük yöntemden en büyüğüne gider.
Sık sorulan sorular
Token nedir?
Bir dil modelinin okuyup yazdığı birimdir. Tokenizer’lar metni tam sözcüklere, sözcük parçalarına, tek karakterlere veya noktalama işaretlerine böler. Aynı cümlenin token sayısı başka bir modelde farklı olabilir.
Sayım ne kadar doğru?
OpenAI sayısı, tiktoken ile aynı tabloları kullandığı için seçilen kodlama bakımından kesindir. Yalnızca metni sayar; bir sohbet API’sinin iletilerin çevresine eklediği ek token’lar dahil değildir. Claude ve Gemini sayıları, İngilizce metin için yazılmış belge oranlarına dayanan tahmindir; özellikle Korece, Japonca, kod veya sayılarda sapabilir.
Claude veya Gemini için kesin sayıyı nasıl alırım?
Sağlayıcıların kendi sayaçlarını kullanın. Anthropic ücretsiz bir token sayma uç noktası (POST /v1/messages/count_tokens) sunar; belgeleri bu değeri de tahmin olarak niteler. Gemini API’sinde countTokens vardır. Anthropic, Claude 4.7 ve sonrası modellerin aynı metin için öncekilere göre yaklaşık yüzde 30 daha fazla token ürettiğini belirtir; bu yüzden kullanacağınız modelle sayın.
Neden iki OpenAI kodlaması var?
cl100k_base eski sözlüktür, o200k_base daha yeni ve daha büyüğüdür. Hangi modelin hangisini kullandığı tiktoken model listesine göre belirlenir. Aynı metin o200k_base ile çoğunlukla daha az token verir.
Metnim bir yere gönderiliyor mu?
Hayır. Sayım tarayıcınızda yapılır. Tokenizer tablosu bu siteden bir kez indirilir, metniniz asla yüklenmez.