Kalkulator Penyimpanan Embedding
10.000 dokumen berisi 2.000 token yang dipotong menjadi chunk 512 token dengan tumpang tindih 64 token menghasilkan 50.000 vektor; pada 1.536 dimensi ukurannya 307,2 MB dalam float32, 76,8 MB dalam int8 dan 9,6 MB dalam biner, dan memproses 22.560.000 token dengan text-embedding-3-small biayanya $0,45 (harga dicek 2026-10-16).
Cara memakai
- Masukkan jumlah dokumen dan panjang rata-ratanya dalam token. Tambahkan byte metadata per vektor jika database menyimpan teks atau ID di samping setiap vektor.
- Atur ukuran chunk dan tumpang tindih antar-chunk yang bersebelahan, keduanya dalam token.
- Pilih model embedding, dimensi vektor dan presisi penyimpanan. Lihat ukuran total, jumlah vektor, token yang diproses dan biaya.
Cara menghitung
Chunk per dokumen = 1 jika dokumen muat dalam satu chunk, jika tidak ⌈(token dokumen − tumpang tindih) ÷ (ukuran chunk − tumpang tindih)⌉. Vektor = dokumen × chunk per dokumen.
Byte per vektor = dimensi × 4 (float32), × 2 (float16), × 1 (int8) atau ⌈dimensi ÷ 8⌉ (biner). Penyimpanan = vektor × (byte per vektor + byte metadata), dalam satuan desimal (1 MB = 1.000.000 byte).
Token diproses = dokumen × (token dokumen + (chunk − 1) × tumpang tindih), karena token yang tumpang tindih diproses dua kali.
Biaya = token diproses × harga per juta token ÷ 1.000.000, dengan harga standar dan, jika tersedia, harga batch.
Pertanyaan umum
Apakah ukuran sudah termasuk indeks?
Tidak. Ini data vektor mentah ditambah metadata yang Anda masukkan. Struktur indeks seperti graf HNSW menambah ukuran lagi, tergantung database dan pengaturannya.
Bisakah dimensi dikurangi?
Model text-embedding-3 OpenAI menerima parameter dimensions, dan keluaran embedding Gemini bisa diatur dari 128 hingga 3072 dengan 768, 1536 dan 3072 yang dianjurkan. Dimensi lebih kecil menghemat ruang dengan sedikit penurunan kualitas pencarian.
Berapa hemat kuantisasi int8 dan biner?
int8 butuh seperempat ruang float32 dan biner seper tiga puluh dua. Banyak database vektor menyimpan salinan terkompresi untuk pencarian lalu menilai ulang dengan presisi penuh, jadi cek apa yang benar-benar disimpan database Anda.
Berapa tumpang tindih yang sebaiknya dipakai?
Titik awal yang umum adalah 10% hingga 20% dari ukuran chunk. Tumpang tindih lebih besar menjaga konteks di batas chunk tetapi menambah vektor, penyimpanan dan biaya, yang langsung terlihat di halaman ini.