Калькулятор хранения эмбеддингов
10 000 документов по 2 000 токенов, разбитых на чанки по 512 токенов с перекрытием 64, дают 50 000 векторов; при размерности 1 536 они занимают 307,2 МБ в float32, 76,8 МБ в int8 и 9,6 МБ в бинарном виде, а обработка 22 560 000 токенов моделью text-embedding-3-small стоит 0,45 $ (цены проверены 2026-10-16).
Как пользоваться
- Введите число документов и их среднюю длину в токенах. Добавьте байты метаданных на вектор, если база хранит рядом с вектором текст или идентификаторы.
- Задайте размер чанка и перекрытие соседних чанков в токенах.
- Выберите модель эмбеддингов, размерность и точность хранения. Смотрите общий объём, число векторов, обработанные токены и стоимость.
Как считается
Чанков на документ = 1, если документ помещается в один чанк, иначе ⌈(токены документа − перекрытие) ÷ (размер чанка − перекрытие)⌉. Векторы = документы × чанков на документ.
Байт на вектор = размерность × 4 (float32), × 2 (float16), × 1 (int8) или ⌈размерность ÷ 8⌉ (бинарно). Объём = векторы × (байт на вектор + байт метаданных), в десятичных единицах (1 МБ = 1 000 000 байт).
Обработанные токены = документы × (токены документа + (чанки − 1) × перекрытие), потому что перекрывающиеся токены обрабатываются дважды.
Стоимость = обработанные токены × цена за миллион ÷ 1 000 000, по стандартной цене и, если указана, по пакетной.
Частые вопросы
Входит ли индекс в объём?
Нет. Это сырые данные векторов плюс указанные метаданные. Индексы вроде графов HNSW добавляют сверху ещё, сколько именно, зависит от базы и настроек.
Можно ли уменьшить размерность?
Модели OpenAI text-embedding-3 принимают параметр dimensions, а выход Gemini можно задать от 128 до 3072, рекомендованы 768, 1536 и 3072. Меньшая размерность экономит место ценой некоторого качества поиска.
Сколько экономят int8 и бинарное квантование?
int8 занимает четверть объёма float32, бинарный вид одну тридцать вторую. Многие векторные базы держат сжатую копию для поиска и пересчитывают оценки в полной точности, поэтому проверьте, что реально хранит ваша.
Какое перекрытие выбрать?
Обычно начинают с 10 до 20% размера чанка. Большее перекрытие сохраняет контекст на границах чанков, но добавляет векторы, объём и стоимость, что эта страница показывает сразу.