एम्बेडिंग स्टोरेज कैलकुलेटर
2,000 टोकन के 10,000 दस्तावेज़ों को 64 टोकन ओवरलैप के साथ 512 टोकन के चंक में बाँटने पर 50,000 वेक्टर बनते हैं; 1,536 डाइमेंशन पर ये float32 में 307.2 MB, int8 में 76.8 MB और बाइनरी में 9.6 MB लेते हैं, और 2,25,60,000 टोकन को text-embedding-3-small से प्रोसेस करने की लागत $0.45 है (कीमतें 2026-10-16 को जाँची गईं)।
कैसे इस्तेमाल करें
- दस्तावेज़ों की संख्या और टोकन में उनकी औसत लंबाई डालें। अगर डेटाबेस हर वेक्टर के साथ टेक्स्ट या ID रखता है तो प्रति वेक्टर मेटाडेटा बाइट भी डालें।
- चंक आकार और पड़ोसी चंकों के बीच ओवरलैप टोकन में तय करें।
- एम्बेडिंग मॉडल, वेक्टर डाइमेंशन और स्टोरेज प्रिसिज़न चुनें। कुल आकार, वेक्टर संख्या, प्रोसेस हुए टोकन और लागत देखें।
गणना कैसे होती है
प्रति दस्तावेज़ चंक = दस्तावेज़ एक चंक में आ जाए तो 1, वरना ⌈(दस्तावेज़ टोकन − ओवरलैप) ÷ (चंक आकार − ओवरलैप)⌉। वेक्टर = दस्तावेज़ × प्रति दस्तावेज़ चंक।
प्रति वेक्टर बाइट = डाइमेंशन × 4 (float32), × 2 (float16), × 1 (int8) या ⌈डाइमेंशन ÷ 8⌉ (बाइनरी)। स्टोरेज = वेक्टर × (प्रति वेक्टर बाइट + मेटाडेटा बाइट), दशमलव इकाइयों में (1 MB = 1,000,000 बाइट)।
प्रोसेस हुए टोकन = दस्तावेज़ × (दस्तावेज़ टोकन + (चंक − 1) × ओवरलैप), क्योंकि ओवरलैप वाले टोकन दो बार प्रोसेस होते हैं।
लागत = प्रोसेस हुए टोकन × प्रति 10 लाख टोकन कीमत ÷ 1,000,000, मानक कीमत पर और जहाँ उपलब्ध हो बैच कीमत पर।
अक्सर पूछे जाने वाले सवाल
क्या आकार में इंडेक्स शामिल है?
नहीं। यह कच्चा वेक्टर डेटा और आपका डाला गया मेटाडेटा है। HNSW ग्राफ़ जैसे इंडेक्स ढाँचे इसके ऊपर और जगह लेते हैं, कितनी यह डेटाबेस और सेटिंग पर निर्भर है।
क्या डाइमेंशन घटा सकते हैं?
OpenAI के text-embedding-3 मॉडल dimensions पैरामीटर लेते हैं, और Gemini का आउटपुट 128 से 3072 तक रखा जा सकता है, जिसमें 768, 1536 और 3072 सुझाए गए हैं। कम डाइमेंशन जगह बचाते हैं पर खोज की गुणवत्ता थोड़ी घट सकती है।
int8 और बाइनरी क्वांटाइज़ेशन कितना बचाते हैं?
int8 को float32 की एक-चौथाई और बाइनरी को एक-बत्तीसवाँ हिस्सा जगह चाहिए। कई वेक्टर डेटाबेस खोज के लिए संपीड़ित कॉपी रखते हैं और पूरी प्रिसिज़न से दोबारा स्कोर करते हैं, इसलिए देखें आपका डेटाबेस असल में क्या रखता है।
कितना ओवरलैप रखें?
आम शुरुआत चंक आकार का 10% से 20% है। ज़्यादा ओवरलैप चंक की सीमा पर संदर्भ बचाता है पर वेक्टर, स्टोरेज और लागत बढ़ाता है, जो यह पेज सीधे दिखाता है।