AIプロンプトのトークン数計算
トークン数計算ツールに、プロンプトや文章を貼り付けると、トークン数の目安を現実的な幅つきで表示します。値は、選んだ言語の文章をOpenAIのトークナイザーで実測した結果にもとづいています。入力した文章はブラウザの外に送信されません。
計算方法
トークンとは、言語モデルが文章を区切って扱う単位です。単語、単語の一部、1文字、記号、空白などがトークンになります。料金や上限(コンテキストウィンドウ、最大出力)は文字数ではなくトークン数で決まります。
トークン数の数え方
- プロンプトや文章を入力欄に貼り付けます。
- 文章の言語を選びます。日本語は英語よりも大幅に多くのトークンを使います。
- 推定トークン数と幅、文字数を確認します。
例:2,000文字の日本語の文章は、1トークンあたり平均1.24文字として 2,000 ÷ 1.24 ≈ 1,613トークンです。同じ2,000文字の英文(1トークンあたり3.89文字)なら約514トークンなので、日本語は約3倍になります。
「1トークン=約4文字」は英語の話
OpenAIはトークナイザー tiktoken について「1トークンは平均で約4バイト」と説明し、GoogleもGeminiについて「1トークンは約4文字」としています。どちらも英語の文章が前提です。日本語では1文字がほぼ1トークンになり、漢字によっては1文字が2トークン以上に分かれることもあります。トークナイザーが主に英語の文章をもとに作られているためです。
数値の根拠
OpenAIのトークナイザー o200k_base(GPT-4o以降)と cl100k_base(GPT-4、GPT-3.5)で、言語ごとに36〜139本の文章を実測しました(日本語は41本、2026年9月28日)。1トークンあたりの平均文字数:
- 日本語:o200kで1.39、cl100kで1.08(幅 1.0〜1.5)
- 英語:3.9(幅 3.3〜4.5)
- インドネシア語:3.6 と 3.0(幅 2.7〜3.9)
- ドイツ語:3.6 と 3.1(幅 2.7〜4.2)
- フランス語・スペイン語:3.7 と 3.3(幅 2.9〜4.2)
- トルコ語:3.0 と 2.4(幅 2.3〜3.3)
推定値は、文字数を2つのトークナイザーの平均で割ったものです。幅は、個々の文章の10パーセンタイルと90パーセンタイルから求めています。新しい o200k_base は日本語を効率よく扱えるため、GPT-4o以降のモデルでは推定値より少なめ、古いGPT-4では多めになる傾向があります。プログラムのコード、表、数字の多い文章、絵文字は大きくずれることがあります。
正確なカウンターにしない理由
正確に数えるには、トークン表をまるごと読み込む必要があります。o200k_base では約3.6 MBになり、軽いWebページには大きすぎます。また、Claude、Gemini、Llamaはそれぞれ独自のトークナイザーを使うため、正確な数はその提供元のAPI(トークンカウント用のエンドポイントなど)でしか分かりません。
よくある質問
日本語1文字は何トークンですか?
GPT-4o以降のトークナイザー(o200k_base)では平均で約0.7トークン、GPT-4(cl100k_base)では約0.9トークンでした。ひらがなやよく使う漢字は1文字1トークン以下、珍しい漢字は1文字で2〜3トークンになることがあります。
トークンとは何ですか?
ChatGPTなどのAIモデルが処理する文章の断片です。英語ではよく使う単語が1トークンになることが多く、日本語ではおおむね1文字前後が1トークンになります。
ChatGPTのトークン数はこれで正確に分かりますか?
いいえ、ChatGPTのトークナイザーで実測した値にもとづく推定です。テスト文章では実際の値の80〜90%が表示の幅に収まりました。正確な数はOpenAIのトークナイザーやAPIで確認できます。
ClaudeやGeminiにも使えますか?
おおまかな目安にはなりますが、モデルごとにトークナイザーが異なります。正確な数は各社のAPI(OpenAI、Claude、Geminiのトークンカウント機能など)でのみ得られます。
日本語は英語よりトークンを多く使うのはなぜですか?
トークナイザーは主に英語の文章をもとに作られているため、英語では1単語がまとめて1トークンになるのに対し、日本語は文字ごとに分かれやすいからです。実測では、同じ文字数で日本語は英語の約3倍のトークンになりました。
入力した文章はどこかに送信されますか?
いいえ。カウントはブラウザ内だけで行われ、文章は送信も保存もされず、URLにも含まれません。
単語数が表示されないのはなぜですか?
日本語は単語の間に空白を入れないため、空白で区切る単語数は意味がありません。言語が「日本語」のときは文字数と行数だけを表示します。
出典・根拠
- OpenAI tiktoken (MIT) – “each token corresponds to about 4 bytes”; o200k_base / cl100k_base used for the measurement
- Google AI for Developers – Understand and count tokens (“about 4 characters”)
- Anthropic – Token counting (exact counts via the Claude API)
更新日: · 編集方針
関連ツール
- 文字数カウント文字数カウントツールです。空白・改行を含む文字数と含まない文字数、行数、段落数、読むのにかかる時間をリアルタイムで表示。X(旧Twitter)やSMSの上限もわかります。
- パスワード生成ツールパスワード生成ツール(無料)。ランダムで安全なパスワードや覚えやすいパスフレーズを作成し、強度をビット数で表示。生成はブラウザ内で完結、送信も保存もされません。
- パスワード強度チェックパスワードの強度と安全性を無料でチェック。エントロピー(ビット数)と解読にかかる時間を表示します。判定はブラウザ内だけで行い、送信も保存もしません。
- テキスト読み上げ:文章を音声で読み上げる無料の読み上げツールです。文章を貼り付けて声・速度・高さを選ぶだけで、ブラウザーが音声で読み上げます。登録不要、読んでいる単語も表示します。
- モールス信号 変換ツールモールス信号の変換・解読ツール。文字を入れるとモールス信号に、点と線を入れると文字に戻します。和文(カナ)にも対応し、音と光で再生、SOSや数字の一覧つき。
- テキストからメールアドレスを抽出テキストからメールアドレスを抽出します。リンク・ハッシュタグ・数字・日付・IPアドレスも探せて、重複は除外。ブラウザ内で完結し、アップロード不要です。
- ヘボン式ローマ字変換ツール(パスポートの綴り方に対応)ヘボン式ローマ字変換ツール。名前をひらがなかカタカナで入れると、外務省の綴方表に沿ってパスポートの綴りに変換します。長音・撥音・促音の規則にも対応。
- 縦書き変換ツール(横書き → 縦書き、コピーして貼るだけ)縦書き変換ツール。横書きの文章を貼り付けると、1行を1列にして右から左へ並べた縦書きの文字に変換します。XやLINEにそのまま貼り付け可能。かっこや長音も縦向きに。
- 原稿用紙の文字数カウント(400字詰め・200字詰めの枚数換算)原稿用紙の文字数カウントツール。文章を貼り付けると、改行で空くマスや行頭の句読点の決まりまで反映して、400字詰め・200字詰めで何枚・何行になるかを計算します。