LLM için Metin Bölücü
20.000 token'lık bir metin, 8.000 token sınırıyla en az 3 parça ister (20.000 ÷ 8.000, yukarı yuvarlanır); paragraf ve cümle sonları boşluk bırakırsa biraz daha fazla olur. Gerçek parçaları ve token sayılarını görmek için metninizi yapıştırın.
Nasıl kullanılır
- Metni yapıştırın. Hazır ayarlardan (yaygın boyutlar veya model bağlam pencereleri) bir sınır seçin ya da kendiniz yazın; talimatınız ve yanıt için birkaç token ayırın.
- Her parçanın "Part 1/N" ile başlamasını istiyorsanız başlığı açın; böylece siz de model de sırayı kaybetmezsiniz.
- Parçaları tek tek kopyalayın ya da hepsini tek bir TXT dosyası veya parça başına bir dosya içeren ZIP olarak indirin.
Nasıl hesaplanır
Her parça en çok token sınırı eksi ayırdığınız token kadar içerebilir. Token'lar tarayıcınızda js-tiktoken ile o200k_base tablolarıyla (GPT-4o, GPT-4.1 ve GPT-5 ailesi) sayılır.
Metin, sığan en büyük doğal sınırdan kesilir: önce paragraflar arası boş satırlar, sonra satır sonları, sonra cümle sonları (. ! ? ve CJK işaretleri), en son sözcükler arası boşluklar. Komşu parçalar, sıradaki sığmayana kadar bir parçaya doldurulur ve birleştirilmiş metnin gerçek token sayısı denetlenir.
Başlık açıkken her parçanın önüne "Part i/N" satırı ve bir boş satır konur, bunlar da sınıra dahildir. En uzun başlığın yeri baştan ayrılır, bu yüzden hiçbir parça sınırı aşmaz.
Yalnızca sınırın tamamından uzun bir sözcük ortasından kesilir; base64 veya URL gibi boşluksuz uzun dizilerde olabilir. Araç kaç kez olduğunu bildirir.
ZIP dosyaları tarayıcınızda sıkıştırmasız yazılır, her parça için bir TXT dosyası vardır.
Sık sorulan sorular
Bir LLM için metin neden bölünür?
İstem, yanıtla birlikte bağlam penceresine sığmalıdır. Metin çok uzunsa "Part 1/3" gibi bir başlıkla parçalar halinde gönderilebilir ve modelden tüm parçaları alana kadar yanıt vermemesi istenebilir.
Part başlıklarını nasıl kullanırım?
Şöyle bir mesajla başlayın: "Uzun bir metni N parça halinde göndereceğim. Bitirdiğimi söyleyene kadar yalnızca OK yaz." Sonra parçaları sırayla yapıştırın. Başlıklar sırayı net tutar.
Sayım Claude veya Gemini için kesin mi?
Yalnızca OpenAI'nin o200k_base'i için kesindir. Claude ve Gemini metni farklı token'lara böler ve çevrimdışı tokenizer yayımlamaz, sayılar farklı çıkabilir. Pay bırakmak için "Ayrılacak token" alanını kullanın.
Parçalar çakışır mı?
Hayır. Parçalar metni tekrarlamadan birbirini izler. Getirme için çakışan pencereler gerekiyorsa RAG Parça Hesaplayıcı'yı kullanın.
Metnim yüklenir mi?
Hayır. Bölme, sayım ve indirmelerin hepsi tarayıcınızda olur. Yalnızca tokenizer tablosu bu siteden bir kez indirilir.