AIプロンプトのトークン数計算

計算方法

トークンとは、言語モデルが文章を区切って扱う単位です。単語、単語の一部、1文字、記号、空白などがトークンになります。料金や上限（コンテキストウィンドウ、最大出力）は文字数ではなくトークン数で決まります。

トークン数の数え方

1. プロンプトや文章を入力欄に貼り付けます。
2. 文章の言語を選びます。日本語は英語よりも大幅に多くのトークンを使います。
3. 推定トークン数と幅、文字数を確認します。

例：2,000文字の日本語の文章は、1トークンあたり平均1.24文字として 2,000 ÷ 1.24 ≈ 1,613トークンです。同じ2,000文字の英文（1トークンあたり3.89文字）なら約514トークンなので、日本語は約3倍になります。

「1トークン＝約4文字」は英語の話

OpenAIはトークナイザー tiktoken について「1トークンは平均で約4バイト」と説明し、GoogleもGeminiについて「1トークンは約4文字」としています。どちらも英語の文章が前提です。日本語では1文字がほぼ1トークンになり、漢字によっては1文字が2トークン以上に分かれることもあります。トークナイザーが主に英語の文章をもとに作られているためです。

数値の根拠

OpenAIのトークナイザー o200k_base（GPT-4o以降）と cl100k_base（GPT-4、GPT-3.5）で、言語ごとに36〜139本の文章を実測しました（日本語は41本、2026年9月28日）。1トークンあたりの平均文字数：

• 日本語：o200kで1.39、cl100kで1.08（幅 1.0〜1.5）
• 英語：3.9（幅 3.3〜4.5）
• インドネシア語：3.6 と 3.0（幅 2.7〜3.9）
• ドイツ語：3.6 と 3.1（幅 2.7〜4.2）
• フランス語・スペイン語：3.7 と 3.3（幅 2.9〜4.2）
• トルコ語：3.0 と 2.4（幅 2.3〜3.3）

推定値は、文字数を2つのトークナイザーの平均で割ったものです。幅は、個々の文章の10パーセンタイルと90パーセンタイルから求めています。新しい o200k_base は日本語を効率よく扱えるため、GPT-4o以降のモデルでは推定値より少なめ、古いGPT-4では多めになる傾向があります。プログラムのコード、表、数字の多い文章、絵文字は大きくずれることがあります。

正確なカウンターにしない理由

正確に数えるには、トークン表をまるごと読み込む必要があります。o200k_base では約3.6 MBになり、軽いWebページには大きすぎます。また、Claude、Gemini、Llamaはそれぞれ独自のトークナイザーを使うため、正確な数はその提供元のAPI（トークンカウント用のエンドポイントなど）でしか分かりません。

よくある質問

出典・根拠

• OpenAI tiktoken (MIT) – “each token corresponds to about 4 bytes”; o200k_base / cl100k_base used for the measurement
• Google AI for Developers – Understand and count tokens (“about 4 characters”)
• Anthropic – Token counting (exact counts via the Claude API)

更新日：2026年9月27日