トークンカウンター
1,000 文字は、Anthropic のドキュメントにある比率(1 トークン 2.5 文字)で約 400 トークン、Google の比率(1 トークン 4 文字)で約 250 トークンです。自分のテキストを貼ると OpenAI 基準の正確な数が分かります。
使い方
- テキストを貼り付けるか入力します。内容はブラウザの外に出ません。
- OpenAI のエンコーディングを選びます。GPT-4o、GPT-4.1、GPT-5、o シリーズは o200k_base、GPT-4 と GPT-3.5 は cl100k_base です。
- 正確なトークン数と、文字数・単語数・行数を確認します。Claude と Gemini の行は推定値です。
計算方法
OpenAI:オープンソースの tiktoken が公開しているバイトペアエンコーディングの表でテキストを分割し、js-tiktoken の移植版をブラウザで実行します。選んだエンコーディングについては正確な値です。表のファイル(約 2MB)はページ読み込み時ではなく、最初に入力したときに取得します。
モデルごとのエンコーディングは tiktoken のモデル一覧に従います。gpt-4o、gpt-4.1、gpt-5、o1、o3、o4-mini は o200k_base、gpt-4 と gpt-3.5-turbo は cl100k_base です。この一覧より新しいモデルは、確認したドキュメントにトークナイザー名がないため、o200k_base の値は参考として見てください。
Claude と Gemini は公開トークナイザーがないため推定です。Claude:Anthropic のモデル概要は、現行のトークナイザーで 1M トークンが約 55.5 万語または Unicode 250 万文字と説明しているので、文字数 ÷ 2.5 と単語数 ÷ 0.555 で計算します。Gemini:Google は 1 トークンが約 4 文字、100 トークンが英単語 60〜80 語としているので、文字数 ÷ 4 と単語数 × 100/80〜100/60 で計算します。
代表値は各方法のうち最大の値です。上限に収まるかを見るときに安全側になります。かっこ内は最小から最大までの範囲です。
よくある質問
トークンとは何ですか?
言語モデルが読み書きする単位です。トークナイザーがテキストを単語、単語の一部、1 文字、句読点などに分けます。同じ文でもモデルによってトークン数が違うことがあります。
どのくらい正確ですか?
OpenAI の数値は tiktoken と同じ表を使うので、選んだエンコーディングについて正確です。テキストだけを数えた値で、チャット API がメッセージごとに加えるトークンは含みません。Claude と Gemini は英語向けのドキュメントの比率による推定なので外れることがあり、日本語・韓国語・コード・数字ではずれが大きくなります。
Claude や Gemini の正確なトークン数はどう求めますか?
各社の計測機能を使ってください。Anthropic には無料のトークン計測エンドポイント(POST /v1/messages/count_tokens)があり、ドキュメントではこの値も推定としています。Gemini API には countTokens があります。Anthropic は Claude 4.7 以降のモデルが同じ文で以前のモデルより約 30% 多くトークンを使うと案内しているので、使うモデルで数えてください。
OpenAI のエンコーディングが 2 つあるのはなぜですか?
cl100k_base は古い語彙表、o200k_base は新しく大きい語彙表です。どのモデルがどちらを使うかは tiktoken のモデル一覧に従います。同じテキストは o200k_base のほうがトークンが少なくなることが多いです。
入力したテキストは送信されますか?
いいえ。数える処理はブラウザ内で行います。トークナイザーの表はこのサイトから一度取得しますが、テキストはアップロードされません。