埋め込みストレージ計算機
2,000 トークンの文書 10,000 件を 512 トークンのチャンク、オーバーラップ 64 トークンで分割するとベクトルは 50,000 個です。1,536 次元なら float32 で 307.2 MB、int8 で 76.8 MB、binary で 9.6 MB、22,560,000 トークンを text-embedding-3-small で埋め込むと $0.45 です(価格確認日 2026-10-16)。
使い方
- 文書数と1文書あたりの平均トークン数を入力します。ベクトルごとにテキストや ID も保存するなら、1ベクトルあたりのメタデータのバイト数も入力します。
- チャンクサイズと、隣り合うチャンクのオーバーラップをトークン単位で設定します。
- 埋め込みモデル、ベクトルの次元、保存精度を選びます。合計容量、ベクトル数、埋め込むトークン数、コストを確認します。
計算方法
1文書あたりのチャンク数 = 1チャンクに収まれば1、それ以外は ⌈(文書トークン − オーバーラップ) ÷ (チャンクサイズ − オーバーラップ)⌉。ベクトル数 = 文書数 × 1文書あたりのチャンク数。
1ベクトルあたりのバイト = 次元 × 4(float32)、× 2(float16)、× 1(int8)、または ⌈次元 ÷ 8⌉(binary)。容量 = ベクトル数 × (1ベクトルのバイト + メタデータのバイト)、10進単位(1 MB = 1,000,000 バイト)で表示。
埋め込むトークン = 文書数 × (文書トークン + (チャンク数 − 1) × オーバーラップ)。重なった部分は2回埋め込まれるためです。
埋め込みコスト = 埋め込むトークン × 100万トークンあたりの単価 ÷ 1,000,000。標準単価と、掲載がある場合はバッチ単価で計算します。
よくある質問
インデックスの容量も含まれますか?
含まれません。ベクトルデータそのものと入力したメタデータだけです。HNSW グラフなどのインデックス構造がさらに上乗せされ、その量はデータベースと設定によって変わります。
次元を減らせますか?
OpenAI の text-embedding-3 モデルは dimensions パラメータに対応し、Gemini の埋め込みは128から3072まで指定でき、768、1536、3072が推奨です。次元を減らすと容量は減りますが、検索の質が少し下がることがあります。
int8・binary の量子化でどれだけ減りますか?
int8 は float32 の4分の1、binary は32分の1です。多くのベクトル DB は検索用の圧縮版を持ち、元の精度で再スコアするので、実際に何を保存しているか確認してください。
オーバーラップはどのくらいにしますか?
チャンクサイズの10%から20%で始めるのが一般的です。オーバーラップを増やすと境界の文脈は保てますが、ベクトル数、容量、埋め込みコストが増えます。このページでそのまま確認できます。