Kalkulator Chunk RAG
Dokumen 10.000 token yang dipotong menjadi chunk 512 token dengan overlap 64 token menghasilkan 23 chunk dan 11.408 token embedding, 12,3% di antaranya berulang. Chunk = 1 + pembulatan ke atas((token dokumen - ukuran chunk) ÷ (ukuran chunk - overlap)); total = token dokumen + (chunk - 1) × overlap.
Cara memakai
- Masukkan panjang dokumen dalam token atau karakter, ukuran chunk, dan overlap. Untuk biaya, isi juga harga embedding per juta token.
- Lihat jumlah chunk, total token yang akan di-embed, dan berapa banyak yang berulang karena overlap.
- Untuk melihat letak potongan, tempel teks aslinya. Teks dipecah menjadi token di browser Anda dan chunk pertama ditampilkan dengan bagian overlap disorot.
Cara menghitung
Jarak antar awal chunk adalah ukuran chunk dikurangi overlap. Jika dokumen muat dalam satu chunk, hasilnya 1. Jika tidak, chunk = 1 + pembulatan ke atas((token dokumen - ukuran chunk) ÷ jarak).
Setiap chunk setelah yang pertama mengulang token overlap terakhir dari chunk sebelumnya, jadi total yang di-embed = token dokumen + (chunk - 1) × overlap. Porsi berulang adalah (chunk - 1) × overlap ÷ total itu. Chunk terakhir adalah sisanya sehingga biasanya lebih pendek.
Karakter dikonversi dengan 4 karakter per token, aturan praktis dari OpenAI untuk teks bahasa Inggris. Bahasa lain, kode, dan angka memakai lebih banyak token per karakter, jadi tempel teks untuk hitungan yang tepat.
Teks yang ditempel dipecah menjadi token di browser dengan tabel byte-pair encoding asli (js-tiktoken). Pratinjau memotong daftar token ke jendela yang sama dengan rumus lalu men-decode tiap jendela. Jendela tetap mengabaikan batas kalimat dan paragraf; pemotong yang menghormatinya menghasilkan chunk tidak sama panjang dan jumlah berbeda.
Biaya = token embedding ÷ 1.000.000 × harga per juta token yang Anda isi. Ambil harga dari halaman tarif penyedia embedding Anda.
Pertanyaan umum
Ukuran chunk dan overlap berapa yang sebaiknya dipakai?
Tidak ada nilai yang berlaku untuk semua. Ukuran beberapa ratus sampai sekitar seribu token dengan overlap 10 sampai 20 persen sering dipakai. Chunk kecil memberi kecocokan lebih tepat tetapi vektor yang disimpan lebih banyak; chunk besar menyimpan lebih banyak konteks tetapi kecocokan bisa kabur. Uji dengan pertanyaan Anda sendiri.
Apakah overlap menaikkan biaya embedding?
Ya, bagian yang tumpang tindih di-embed dua kali. Untuk dokumen 10.000 token dengan chunk 512 dan overlap 64, 1.408 dari 11.408 token yang dikirim (12,3%) adalah pengulangan, sehingga Anda meng-embed 14,1% lebih banyak daripada dokumennya.
Apakah jumlah chunk tepat?
Tepat untuk aturan yang ditampilkan: jendela token berukuran tetap. Pustaka yang memotong berdasarkan kalimat, paragraf, atau judul menghasilkan chunk tidak sama besar sehingga jumlahnya berbeda. Konversi karakter ke token adalah perkiraan.
Tokenizer mana yang dipilih?
Yang dipakai model embedding Anda. Model text-embedding-3 dari OpenAI memakai cl100k_base. Model penyedia lain punya tokenizer yang tidak tersedia di sini, jadi hitungannya hanya acuan yang mendekati.
Apakah teks saya dikirim ke mana pun?
Tidak. Penghitungan dan pratinjau berjalan di browser Anda. Tabel tokenizer diunduh dari situs ini sekali dan teks Anda tidak pernah diunggah.