Счётчик токенов
1 000 символов — это около 400 токенов по соотношению из документации Anthropic (2,5 символа на токен) и около 250 по соотношению Google (4 символа на токен). Вставьте свой текст, чтобы получить точное число для OpenAI.
Как пользоваться
- Вставьте или введите текст. Ничего не покидает ваш браузер.
- Выберите кодировку OpenAI. o200k_base подходит для GPT-4o, GPT-4.1, GPT-5 и серии o, cl100k_base — для GPT-4 и GPT-3.5.
- Посмотрите точное число токенов, а также символы, слова и строки. Строки Claude и Gemini — это оценки.
Как считается
OpenAI: текст разбивается настоящими таблицами byte-pair encoding, которые публикует открытый проект tiktoken; они работают в браузере через порт js-tiktoken. Для выбранной кодировки число точное. Файлы таблиц (около 2 МБ) загружаются при первом вводе, а не вместе со страницей.
Какую кодировку использует модель, определяет список моделей tiktoken: o200k_base для gpt-4o, gpt-4.1, gpt-5, o1, o3 и o4-mini, cl100k_base для gpt-4 и gpt-3.5-turbo. Для моделей новее этого списка в проверенной документации нет названия токенизатора, поэтому значение o200k_base для них — ориентир.
У Claude и Gemini нет публичного токенизатора, поэтому эти строки — оценки. Claude: в обзоре моделей Anthropic сказано, что 1 млн токенов — это примерно 555 тысяч слов или 2,5 млн символов Unicode на нынешнем токенизаторе; оценка — символы ÷ 2,5 и слова ÷ 0,555. Gemini: Google пишет, что токен — около 4 символов, а 100 токенов — примерно 60–80 английских слов; оценка — символы ÷ 4 и слова × 100/80 … 100/60.
Показано наибольшее из полученных значений — это безопасная сторона, когда проверяешь, влезает ли текст в лимит. Диапазон в скобках идёт от наименьшего способа к наибольшему.
Частые вопросы
Что такое токен?
Единица, которую читает и пишет языковая модель. Токенизатор делит текст на части: целые слова, части слов, отдельные символы или знаки препинания. Одна и та же фраза в разных моделях может дать разное число токенов.
Насколько точен подсчёт?
Число для OpenAI точно для выбранной кодировки, потому что используются те же таблицы, что в tiktoken. Считается только текст: дополнительные токены, которые чат-API добавляет вокруг сообщений, не входят. Для Claude и Gemini это оценки по соотношениям из документации, рассчитанным на английский текст, поэтому они могут расходиться, особенно для корейского, японского, кода и чисел.
Как получить точное число для Claude или Gemini?
Используйте счётчики самих провайдеров. У Anthropic есть бесплатная конечная точка подсчёта токенов (POST /v1/messages/count_tokens), которую документация тоже называет оценкой. В API Gemini есть countTokens. Anthropic отмечает, что модели Claude 4.7 и новее выдают для того же текста примерно на 30 процентов больше токенов, чем прежние, поэтому считайте на той модели, которую собираетесь использовать.
Почему две кодировки OpenAI?
cl100k_base — старый словарь, o200k_base — новый и больший. Какую использует модель, определяет список моделей tiktoken. Один и тот же текст в o200k_base часто даёт меньше токенов.
Отправляется ли мой текст куда-либо?
Нет. Подсчёт идёт в вашем браузере. Таблица токенизатора загружается с этого сайта один раз, а ваш текст не загружается никогда.