Token 计数器
1,000 个字符按 Anthropic 文档给出的比例(每 token 2.5 个字符)约为 400 个 token,按 Google 的比例(每 token 4 个字符)约为 250 个。粘贴你自己的文本即可得到 OpenAI 的精确数值。
使用方法
- 粘贴或输入文本。内容不会离开你的浏览器。
- 选择 OpenAI 编码。o200k_base 适用于 GPT-4o、GPT-4.1、GPT-5 和 o 系列,cl100k_base 适用于 GPT-4 和 GPT-3.5。
- 查看精确的 token 数,以及字符数、词数和行数。Claude 和 Gemini 两行是估算值。
计算方法
OpenAI:用开源项目 tiktoken 公开的字节对编码表切分文本,通过 js-tiktoken 移植版在浏览器中运行。对所选编码而言结果是精确的。编码表文件(约 2MB)在你第一次输入时才下载,不随页面加载。
各模型使用的编码依照 tiktoken 的模型列表:gpt-4o、gpt-4.1、gpt-5、o1、o3、o4-mini 用 o200k_base,gpt-4 和 gpt-3.5-turbo 用 cl100k_base。比该列表更新的模型,在我们查阅的文档中没有分词器名称,因此 o200k_base 的数值仅供参考。
Claude 和 Gemini 没有公开的分词器,所以这两行是估算。Claude:Anthropic 的模型概览称,按当前分词器 1M token 约合 55.5 万词或 250 万个 Unicode 字符,因此估算为字符数 ÷ 2.5 和词数 ÷ 0.555。Gemini:Google 称一个 token 约 4 个字符,100 个 token 约合 60 到 80 个英文单词,因此估算为字符数 ÷ 4 和词数 × 100/80 至 100/60。
显示的代表值取各方法中最大的一个,在判断文本是否超出上限时偏向安全一侧。括号内为最小到最大的范围。
常见问题
什么是 token?
语言模型读写的基本单位。分词器会把文本切成词、词的一部分、单个字符或标点。同一句话在不同模型里的 token 数可能不同。
计数有多准确?
OpenAI 的数值对所选编码是精确的,因为用的是与 tiktoken 相同的表。它只统计文本本身,不含聊天 API 在消息外围额外加的 token。Claude 和 Gemini 是按文档中针对英文给出的比例估算的,可能有偏差,韩文、日文、代码和数字的偏差会更大。
怎样得到 Claude 或 Gemini 的精确数值?
使用各家官方的计数功能。Anthropic 提供免费的 token 计数接口(POST /v1/messages/count_tokens),其文档也说明该值是估算。Gemini API 有 countTokens。Anthropic 提示,Claude 4.7 及以后的模型对同一段文本产生的 token 比之前的模型多约 30%,所以请用你要使用的模型来计数。
为什么有两种 OpenAI 编码?
cl100k_base 是较早的词表,o200k_base 是较新、更大的词表。每个模型用哪一种,依照 tiktoken 的模型列表。同一段文本用 o200k_base 通常 token 更少。
我的文本会被发送到别处吗?
不会。计数在你的浏览器中完成。分词器的表只会从本站下载一次,文本不会上传。