Разделитель текста для LLM
Текст в 20 000 токенов с лимитом 8 000 токенов потребует минимум 3 частей (20 000 ÷ 8 000, с округлением вверх), а чуть больше, если концы абзацев и предложений оставят пустоты. Вставьте текст, чтобы увидеть реальные части и их токены.
Как пользоваться
- Вставьте текст. Выберите лимит из готовых (частые размеры или контекстные окна моделей) или введите свой и оставьте несколько токенов для инструкции и ответа.
- Включите заголовок Part, если хотите, чтобы каждая часть начиналась с «Part 1/N»: так вы и модель не собьётесь с порядка.
- Копируйте части по одной или скачайте все одним файлом TXT либо архивом ZIP с файлом на каждую часть.
Как считается
В каждую часть помещается не больше, чем лимит токенов минус оставленные токены. Токены считаются в браузере по таблицам o200k_base (семейство GPT-4o, GPT-4.1 и GPT-5) через js-tiktoken.
Текст режется по самой крупной естественной границе, которая помещается: сначала пустые строки между абзацами, затем переводы строк, затем концы предложений (. ! ? и знаки CJK), в конце пробелы между словами. Соседние куски складываются в часть, пока следующий не поместится, и проверяется реальное число токенов склеенного текста.
При включённом заголовке перед каждой частью идут строка «Part i/N» и пустая строка, они входят в лимит. Место под самый длинный заголовок резервируется заранее, поэтому ни одна часть не превысит лимит.
Посреди слова режется только слово, которое длиннее всего лимита; так бывает с длинными строками без пробелов вроде base64 или URL. Инструмент сообщает, сколько раз это случилось.
ZIP создаётся в браузере без сжатия, по одному файлу TXT на часть.
Частые вопросы
Зачем делить текст для LLM?
Промпт вместе с ответом должен помещаться в контекстное окно. Если текст слишком длинный, его можно отправить частями с заголовком вроде «Part 1/3» и попросить модель дождаться всех частей перед ответом.
Как пользоваться заголовками Part?
Начните с сообщения: «Я отправлю длинный текст в N частях. Отвечай только OK, пока я не скажу, что закончил». Затем вставляйте части по порядку. Заголовки фиксируют порядок.
Точен ли подсчёт для Claude и Gemini?
Точен только для o200k_base от OpenAI. Claude и Gemini разбивают текст иначе и не публикуют офлайн-токенизатор, поэтому числа могут отличаться. Поле «Оставить токенов» поможет сделать запас.
Перекрываются ли части?
Нет. Части идут друг за другом без повторов. Если для поиска нужны перекрывающиеся окна, используйте Калькулятор RAG-чанков.
Загружается ли мой текст?
Нет. Разделение, подсчёт и скачивание выполняются в браузере. Только таблица токенизатора один раз скачивается с этого сайта.