RAG Parça Hesaplayıcı
10.000 token'lık bir belge, 64 token örtüşmeyle 512 token'lık parçalara bölünürse 23 parça ve 11.408 gömme token'ı çıkar; bunların %12,3 kadarı tekrardır. Parça sayısı = 1 + yukarı yuvarla((belge token'ı - parça boyutu) ÷ (parça boyutu - örtüşme)); toplam = belge token'ı + (parça sayısı - 1) × örtüşme.
Nasıl kullanılır
- Belge uzunluğunu token veya karakter olarak, parça boyutunu ve örtüşmeyi girin. Maliyet için milyon token başına gömme fiyatını da ekleyin.
- Parça sayısını, gömülecek toplam token'ı ve örtüşme yüzünden kaç tanesinin tekrar ettiğini okuyun.
- Kesimlerin nereye düştüğünü görmek için gerçek metni yapıştırın. Metin tarayıcınızda token'lara ayrılır ve ilk parçalar örtüşen kısım vurgulanarak gösterilir.
Nasıl hesaplanır
Parça başlangıçları arasındaki adım, parça boyutu eksi örtüşmedir. Belge tek parçaya sığıyorsa sonuç 1'dir; sığmıyorsa parça sayısı = 1 + yukarı yuvarla((belge token'ı - parça boyutu) ÷ adım).
İlk parçadan sonraki her parça, öncekinin son örtüşme token'larını tekrar eder; yani gömülen toplam = belge token'ı + (parça sayısı - 1) × örtüşme. Tekrar payı (parça sayısı - 1) × örtüşme ÷ bu toplamdır. Son parça artandır, genelde daha kısadır.
Karakterler token başına 4 karakter üzerinden çevrilir; bu, OpenAI'nin İngilizce metin için verdiği pratik kuraldır. Diğer diller, kod ve sayılar karakter başına daha çok token harcar, kesin sayı için metni yapıştırın.
Yapıştırılan metin, gerçek bayt çifti kodlama tablolarıyla (js-tiktoken) tarayıcıda token'lara ayrılır. Önizleme token listesini formülle aynı pencerelere keser ve her birini metne çevirir. Sabit pencereler cümle ve paragraf sınırlarına bakmaz; sınırlara uyan bölücüler eşit olmayan parçalar ve farklı bir sayı üretir.
Maliyet = gömme token'ı ÷ 1.000.000 × girdiğiniz milyon token başına fiyat. Fiyatı gömme sağlayıcınızın fiyat sayfasından alın.
Sık sorulan sorular
Hangi parça boyutu ve örtüşmeyi kullanmalıyım?
Herkese uyan bir değer yok. Birkaç yüzden yaklaşık bin token'a kadar boyutlar ve yüzde 10-20 örtüşme yaygındır. Küçük parçalar daha isabetli eşleşme verir ama saklanacak vektör sayısı artar; büyük parçalar bağlamı korur ama eşleşmeyi bulanıklaştırabilir. Kendi sorularınızla deneyin.
Örtüşme gömme faturasını artırır mı?
Evet, örtüşen kısımlar iki kez gömülür. 10.000 token'lık belgeyi 512'lik parçalara ve 64 token örtüşmeyle bölerseniz gönderilen 11.408 token'ın 1.408'i (%12,3) tekrardır; belgenin kendisinden %14,1 fazla gömersiniz.
Parça sayıları kesin mi?
Gösterilen kural için kesin: sabit token pencereleri. Cümle, paragraf veya başlığa göre bölen kütüphaneler eşit olmayan parçalar üretir ve sayıları farklı çıkar. Karakterden token'a çeviri bir tahmindir.
Hangi tokenizer'ı seçmeliyim?
Gömme modelinizin kullandığını. OpenAI'nin text-embedding-3 modelleri cl100k_base kullanır. Diğer sağlayıcıların tokenizer'ları burada yok, bu yüzden sayı yakın bir referanstır.
Metnim bir yere gönderiliyor mu?
Hayır. Sayım ve önizleme tarayıcınızda çalışır. Tokenizer tablosu bu siteden bir kez indirilir, metniniz asla yüklenmez.