Công cụ chia văn bản cho LLM
Văn bản 20.000 token với giới hạn 8.000 token cần tối thiểu 3 phần (20.000 ÷ 8.000, làm tròn lên) và nhiều hơn một chút khi cuối đoạn, cuối câu để lại khoảng trống. Hãy dán văn bản để xem các phần thật và số token của chúng.
Cách dùng
- Dán văn bản. Chọn giới hạn từ các mẫu có sẵn (kích thước thông dụng hoặc cửa sổ ngữ cảnh của mô hình) hoặc tự nhập, và để dành vài token cho chỉ dẫn và câu trả lời.
- Bật tiêu đề Part nếu muốn mỗi phần bắt đầu bằng "Part 1/N", để bạn và mô hình không nhầm thứ tự.
- Sao chép từng phần, hoặc tải tất cả thành một tệp TXT hay một ZIP có mỗi phần một tệp.
Cách tính
Mỗi phần chứa tối đa giới hạn token trừ số token để dành. Token được đếm trong trình duyệt bằng bảng o200k_base (họ GPT-4o, GPT-4.1 và GPT-5) qua js-tiktoken.
Văn bản được cắt tại ranh giới tự nhiên lớn nhất còn vừa: trước hết là dòng trống giữa các đoạn, rồi đến ngắt dòng, rồi cuối câu (. ! ? và dấu CJK), cuối cùng là khoảng trắng giữa các từ. Các mẩu liền kề được xếp vào một phần cho đến khi mẩu kế tiếp không vừa, và số token thật của văn bản đã ghép được kiểm tra lại.
Khi bật tiêu đề, một dòng "Part i/N" và một dòng trống được đặt trước mỗi phần và tính vào giới hạn. Chỗ cho tiêu đề dài nhất được dành trước nên không phần nào vượt giới hạn.
Chỉ một từ dài hơn cả giới hạn mới bị cắt giữa chừng, điều có thể xảy ra với chuỗi dài không có khoảng trắng như base64 hay URL. Công cụ báo số lần xảy ra.
Tệp ZIP được tạo trong trình duyệt, không nén, mỗi phần một tệp TXT.
Câu hỏi thường gặp
Vì sao phải chia văn bản cho LLM?
Câu lệnh cùng câu trả lời phải vừa cửa sổ ngữ cảnh. Nếu văn bản quá dài, bạn có thể gửi theo từng phần với tiêu đề như "Part 1/3" và yêu cầu mô hình đợi đủ các phần rồi mới trả lời.
Dùng tiêu đề Part như thế nào?
Mở đầu bằng tin nhắn như: "Tôi sẽ gửi một văn bản dài trong N phần. Chỉ trả lời OK cho đến khi tôi nói đã xong." Sau đó dán các phần theo thứ tự. Tiêu đề giữ thứ tự rõ ràng.
Số đếm có chính xác cho Claude hay Gemini không?
Chỉ chính xác với o200k_base của OpenAI. Claude và Gemini tách token theo cách khác và không công bố tokenizer ngoại tuyến, nên số có thể lệch. Dùng ô "Token để dành" để chừa biên an toàn.
Các phần có chồng lấp nhau không?
Không. Các phần nối tiếp nhau và không lặp lại văn bản. Nếu cần cửa sổ chồng lấp cho truy xuất, hãy dùng Máy tính chunk RAG.
Văn bản của tôi có bị tải lên không?
Không. Việc chia, đếm và tải xuống đều diễn ra trong trình duyệt. Chỉ bảng tokenizer được tải từ trang này một lần.