Máy tính lưu trữ embedding
10.000 tài liệu 2.000 token chia thành đoạn 512 token, chồng lấn 64 token, tạo ra 50.000 vector; ở 1.536 chiều chúng chiếm 307,2 MB với float32, 76,8 MB với int8 và 9,6 MB với nhị phân, và xử lý 22.560.000 token bằng text-embedding-3-small tốn 0,45 $ (giá kiểm tra ngày 2026-10-16).
Cách dùng
- Nhập số tài liệu và độ dài trung bình tính bằng token. Thêm số byte siêu dữ liệu mỗi vector nếu cơ sở dữ liệu lưu văn bản hoặc ID cạnh mỗi vector.
- Đặt kích thước đoạn và phần chồng lấn giữa các đoạn kề nhau, đều tính bằng token.
- Chọn mô hình embedding, số chiều và độ chính xác lưu trữ. Xem tổng dung lượng, số vector, số token xử lý và chi phí.
Cách tính
Số đoạn mỗi tài liệu = 1 nếu tài liệu vừa một đoạn, nếu không là ⌈(token tài liệu − chồng lấn) ÷ (kích thước đoạn − chồng lấn)⌉. Số vector = tài liệu × số đoạn mỗi tài liệu.
Byte mỗi vector = số chiều × 4 (float32), × 2 (float16), × 1 (int8) hoặc ⌈số chiều ÷ 8⌉ (nhị phân). Dung lượng = số vector × (byte mỗi vector + byte siêu dữ liệu), theo đơn vị thập phân (1 MB = 1.000.000 byte).
Token xử lý = tài liệu × (token tài liệu + (số đoạn − 1) × chồng lấn), vì token chồng lấn được xử lý hai lần.
Chi phí = token xử lý × giá mỗi triệu token ÷ 1.000.000, theo giá chuẩn và giá batch nếu có.
Câu hỏi thường gặp
Dung lượng có gồm chỉ mục không?
Không. Đây là dữ liệu vector thô cộng siêu dữ liệu bạn nhập. Cấu trúc chỉ mục như đồ thị HNSW chiếm thêm, mức bao nhiêu tùy cơ sở dữ liệu và cấu hình.
Có giảm số chiều được không?
Các mô hình text-embedding-3 của OpenAI nhận tham số dimensions, còn đầu ra Gemini đặt được từ 128 đến 3072, khuyến nghị 768, 1536 và 3072. Ít chiều hơn tiết kiệm dung lượng nhưng chất lượng tìm kiếm có thể giảm đôi chút.
Lượng tử hóa int8 và nhị phân tiết kiệm bao nhiêu?
int8 cần một phần tư dung lượng float32, nhị phân cần một phần ba mươi hai. Nhiều cơ sở dữ liệu vector giữ bản nén để tìm kiếm rồi chấm điểm lại bằng độ chính xác đầy đủ, nên hãy kiểm tra hệ thống của bạn thực sự lưu gì.
Nên để chồng lấn bao nhiêu?
Điểm khởi đầu thường gặp là 10% đến 20% kích thước đoạn. Chồng lấn lớn giữ ngữ cảnh ở ranh giới đoạn nhưng tăng số vector, dung lượng và chi phí, trang này hiển thị ngay.