LLM用テキスト分割
20,000トークンの文章を上限8,000トークンで分けると、最低でも3パート(20,000 ÷ 8,000の切り上げ)必要で、段落や文の区切りで隙間ができる分だけ増えます。文章を貼ると実際のパートとトークン数が見られます。
使い方
- 文章を貼ります。プリセット(よく使うサイズ、モデルのコンテキストウィンドウ)から上限を選ぶか、直接入力し、指示文と返答のために空けておくトークン数も決めます。
- 各パートを「Part 1/N」で始めたいときは見出しをオンにします。モデルも自分も順番を見失いません。
- パートを1つずつコピーするか、全部を1つのTXTファイル、またはパートごとのファイルを収めたZIPでダウンロードします。
計算方法
1パートに入れられるのは、トークン上限から空けておくトークンを引いた数までです。トークンはjs-tiktokenでo200k_baseの表(GPT-4o、GPT-4.1、GPT-5系)を使い、ブラウザ内で数えます。
収まる中で最も大きな自然な区切りで切ります。まず段落の間の空行、次に改行、文の終わり(. ! ? と日中韓の句読点)、最後に単語間の空白の順です。隣り合う断片を、次が入らなくなるまで詰め、つないだ文章の実際のトークン数を確かめます。
見出しをオンにすると「Part i/N」の行と空行が各パートの先頭に付き、上限に含まれます。最も長い見出し分を先に確保するので、上限を超えるパートは出ません。
上限そのものより長い単語1つだけは途中で切ります。base64やURLのような長い文字列で起こり得て、回数を表示します。
ZIPはブラウザ内で圧縮なしで作られ、パートごとに1つのTXTファイルが入ります。
よくある質問
なぜLLM向けに文章を分けるのですか。
プロンプトは返答と合わせてコンテキストウィンドウに収まる必要があります。長すぎる文章は「Part 1/3」のような見出しを付けて分けて送り、全パートが届くまで答えないようモデルに頼めます。
Part見出しはどう使いますか。
最初に「長い文章をNパートに分けて送ります。終わりと言うまでOKとだけ返してください」のように伝え、パートを順に貼ってください。見出しが順序をはっきりさせます。
ClaudeやGeminiでも正確ですか。
正確なのはOpenAIのo200k_baseだけです。ClaudeとGeminiはトークンの分け方が違い、オフライン用のトークナイザーも公開されていないため、数が異なることがあります。「空けておくトークン」で余裕を持たせてください。
パート同士は重なりますか。
いいえ。パートは文章を繰り返さずに続きます。検索用に重なりのある窓が必要なら、RAGチャンク計算機を使ってください。
入力した文章はアップロードされますか。
いいえ。分割もトークンの計数もダウンロードもブラウザ内で行います。トークナイザーの表だけこのサイトから1回読み込みます。