LLM용 텍스트 분할기
20,000토큰 글을 8,000토큰 한도로 나누면 최소 3조각(20,000 ÷ 8,000, 올림)이 필요하고, 문단·문장 끝 때문에 생기는 빈틈만큼 조금 더 늘어납니다. 글을 붙여 넣으면 실제 조각과 토큰 수를 볼 수 있습니다.
사용 방법
- 글을 붙여 넣습니다. 프리셋(자주 쓰는 크기, 모델 컨텍스트 창)에서 한도를 고르거나 직접 입력하고, 지시문과 답변을 위해 비워 둘 토큰도 정하십시오.
- 각 조각을 "Part 1/N"으로 시작하게 하려면 머리말을 켭니다. 모델도 나도 순서를 놓치지 않습니다.
- 조각을 하나씩 복사하거나, 전체를 TXT 한 파일 또는 조각마다 파일이 든 ZIP으로 내려받습니다.
계산 방법
조각 하나에는 토큰 한도에서 비워 둘 토큰을 뺀 만큼까지 담습니다. 토큰은 js-tiktoken으로 o200k_base 표(GPT-4o, GPT-4.1, GPT-5 계열)를 써서 브라우저에서 셉니다.
들어가는 가장 큰 자연 경계에서 자릅니다. 먼저 문단 사이 빈 줄, 그다음 줄바꿈, 문장 끝(. ! ? 와 한중일 문장부호), 마지막으로 단어 사이 공백 순입니다. 이웃한 조각들을 다음 것이 안 들어갈 때까지 채우고, 이어 붙인 글의 실제 토큰 수를 다시 확인합니다.
머리말을 켜면 "Part i/N" 한 줄과 빈 줄이 조각 앞에 붙고 이것도 한도에 들어갑니다. 가장 긴 머리말 자리를 먼저 빼 두므로 넘치는 조각이 없습니다.
한도보다 긴 낱말 하나일 때만 낱말 중간을 자릅니다. base64나 URL 같은 긴 문자열에서 생길 수 있고, 몇 번이었는지 알려 줍니다.
ZIP은 브라우저에서 압축 없이 만들며 조각마다 TXT 파일이 하나씩 들어갑니다.
자주 묻는 질문
LLM에 넣을 글을 왜 나누나요?
프롬프트는 답변과 함께 컨텍스트 창에 들어가야 합니다. 글이 너무 길면 "Part 1/3" 같은 머리말을 붙여 나눠 보내고, 모든 조각을 받을 때까지 답하지 말라고 모델에 요청하면 됩니다.
Part 머리말은 어떻게 쓰나요?
먼저 "긴 글을 N조각으로 보내겠습니다. 끝났다고 말할 때까지 OK만 답하세요."처럼 안내한 뒤 조각을 순서대로 붙여 넣으십시오. 머리말이 순서를 분명하게 해 줍니다.
Claude나 Gemini 기준으로도 정확한가요?
정확한 것은 OpenAI o200k_base 기준뿐입니다. Claude와 Gemini는 토큰을 다르게 나누고 오프라인 토크나이저도 공개하지 않아 수가 다를 수 있습니다. "비워 둘 토큰"으로 여유를 두십시오.
조각끼리 겹치나요?
아니요. 조각은 글을 되풀이하지 않고 이어집니다. 검색용으로 겹치는 창이 필요하면 RAG 청크 계산기를 쓰십시오.
입력한 글이 서버로 올라가나요?
아니요. 나누기, 세기, 내려받기 모두 브라우저에서 합니다. 토크나이저 표만 이 사이트에서 한 번 내려받습니다.