Pemisah Teks untuk LLM
Teks 20.000 token dengan batas 8.000 token butuh minimal 3 bagian (20.000 ÷ 8.000, dibulatkan ke atas), dan sedikit lebih banyak bila akhir paragraf dan kalimat menyisakan celah. Tempel teks Anda untuk melihat bagian sebenarnya dan jumlah tokennya.
Cara memakai
- Tempel teksnya. Pilih batas dari preset (ukuran umum atau jendela konteks model) atau ketik sendiri, lalu sisihkan beberapa token untuk instruksi dan jawaban.
- Aktifkan header Part jika ingin tiap bagian diawali "Part 1/N", agar Anda dan model tidak kehilangan urutan.
- Salin bagian satu per satu, atau unduh semuanya sebagai satu file TXT atau ZIP berisi satu file per bagian.
Cara menghitung
Tiap bagian dapat memuat paling banyak batas token dikurangi token yang disisihkan. Token dihitung di browser dengan tabel o200k_base (keluarga GPT-4o, GPT-4.1, dan GPT-5) lewat js-tiktoken.
Teks dipotong pada batas alami terbesar yang muat: pertama baris kosong antar paragraf, lalu pergantian baris, lalu akhir kalimat (. ! ? dan tanda CJK), terakhir spasi antar kata. Potongan bertetangga dimasukkan ke satu bagian sampai potongan berikutnya tidak muat, dan jumlah token sebenarnya dari teks gabungan diperiksa.
Dengan header aktif, satu baris "Part i/N" dan satu baris kosong ditaruh di depan tiap bagian dan dihitung dalam batas. Ruang untuk header terpanjang disisihkan lebih dulu sehingga tidak ada bagian yang melebihi batas.
Hanya satu kata yang lebih panjang dari seluruh batas yang dipotong di tengah, misalnya pada untaian panjang tanpa spasi seperti base64 atau URL. Alat ini melaporkan berapa kali.
File ZIP dibuat di browser tanpa kompresi, satu file TXT per bagian.
Pertanyaan umum
Mengapa teks perlu dibagi untuk LLM?
Prompt harus muat dalam jendela konteks bersama jawabannya. Jika teks terlalu panjang, kirim per bagian dengan header seperti "Part 1/3" dan minta model menunggu semua bagian sebelum menjawab.
Bagaimana memakai header Part?
Mulailah dengan pesan seperti: "Saya akan mengirim teks panjang dalam N bagian. Balas OK saja sampai saya bilang selesai." Lalu tempel bagian secara berurutan. Header menjaga urutan tetap jelas.
Apakah hitungannya tepat untuk Claude atau Gemini?
Hanya tepat untuk o200k_base milik OpenAI. Claude dan Gemini memecah token dengan cara lain dan tidak menerbitkan tokenizer offline, sehingga angkanya bisa berbeda. Gunakan "Token yang disisihkan" untuk memberi ruang aman.
Apakah bagian-bagiannya saling tumpang tindih?
Tidak. Bagian berurutan tanpa mengulang teks. Jika butuh jendela yang tumpang tindih untuk retrieval, pakai Kalkulator Chunk RAG.
Apakah teks saya diunggah?
Tidak. Pemisahan, penghitungan, dan unduhan semuanya terjadi di browser Anda. Hanya tabel tokenizer yang diunduh dari situs ini sekali.