Token 计数器

1,000 个字符按 Anthropic 文档给出的比例(每 token 2.5 个字符)约为 400 个 token,按 Google 的比例(每 token 4 个字符)约为 250 个。粘贴你自己的文本即可得到 OpenAI 的精确数值。

对所选 OpenAI 编码而言是精确值。Claude 和 Gemini 是按其文档中的比例得出的估算,并非分词器的输出。你的文本不会离开浏览器。

问题解决了吗?

使用方法

  1. 粘贴或输入文本。内容不会离开你的浏览器。
  2. 选择 OpenAI 编码。o200k_base 适用于 GPT-4o、GPT-4.1、GPT-5 和 o 系列,cl100k_base 适用于 GPT-4 和 GPT-3.5。
  3. 查看精确的 token 数,以及字符数、词数和行数。Claude 和 Gemini 两行是估算值。

计算方法

OpenAI:用开源项目 tiktoken 公开的字节对编码表切分文本,通过 js-tiktoken 移植版在浏览器中运行。对所选编码而言结果是精确的。编码表文件(约 2MB)在你第一次输入时才下载,不随页面加载。

各模型使用的编码依照 tiktoken 的模型列表:gpt-4o、gpt-4.1、gpt-5、o1、o3、o4-mini 用 o200k_base,gpt-4 和 gpt-3.5-turbo 用 cl100k_base。比该列表更新的模型,在我们查阅的文档中没有分词器名称,因此 o200k_base 的数值仅供参考。

Claude 和 Gemini 没有公开的分词器,所以这两行是估算。Claude:Anthropic 的模型概览称,按当前分词器 1M token 约合 55.5 万词或 250 万个 Unicode 字符,因此估算为字符数 ÷ 2.5 和词数 ÷ 0.555。Gemini:Google 称一个 token 约 4 个字符,100 个 token 约合 60 到 80 个英文单词,因此估算为字符数 ÷ 4 和词数 × 100/80 至 100/60。

显示的代表值取各方法中最大的一个,在判断文本是否超出上限时偏向安全一侧。括号内为最小到最大的范围。

常见问题

什么是 token?

语言模型读写的基本单位。分词器会把文本切成词、词的一部分、单个字符或标点。同一句话在不同模型里的 token 数可能不同。

计数有多准确?

OpenAI 的数值对所选编码是精确的,因为用的是与 tiktoken 相同的表。它只统计文本本身,不含聊天 API 在消息外围额外加的 token。Claude 和 Gemini 是按文档中针对英文给出的比例估算的,可能有偏差,韩文、日文、代码和数字的偏差会更大。

怎样得到 Claude 或 Gemini 的精确数值?

使用各家官方的计数功能。Anthropic 提供免费的 token 计数接口(POST /v1/messages/count_tokens),其文档也说明该值是估算。Gemini API 有 countTokens。Anthropic 提示,Claude 4.7 及以后的模型对同一段文本产生的 token 比之前的模型多约 30%,所以请用你要使用的模型来计数。

为什么有两种 OpenAI 编码?

cl100k_base 是较早的词表,o200k_base 是较新、更大的词表。每个模型用哪一种,依照 tiktoken 的模型列表。同一段文本用 o200k_base 通常 token 更少。

我的文本会被发送到别处吗?

不会。计数在你的浏览器中完成。分词器的表只会从本站下载一次,文本不会上传。