トークンとは何か — 生成AIを動かす「最小単位」の生まれ、旅、そして未来

コンピュータは本来、文字を直接扱えない。すべての情報は数値でなければ処理できないため、LLMはテキストを入力として受け取る前に、必ずトークン化（tokenization）という変換処理を行う。

トークンとは、テキストを分割した「意味と計算効率の間を取った断片」だ。英語の場合、一般的に1トークン ≈ 4文字 ≈ 0.75語が目安になる。"Hello world"は2トークン、"tokenization"は"token"と"ization"の2トークンに分割される。

なぜ「文字そのまま」ではないのか。理由は効率と汎化のバランスにある。1文字＝1トークンにすると語彙が小さくなりすぎ、モデルが言語の構造（単語・語幹・接尾辞）を学びにくい。1単語＝1トークンにすると語彙が無限に膨れ上がり、未知語に対応できない。BPE（後述）はその中間点を学習で見つけ出す手法だ。

トークンを理解することはAI活用において実用的な意味を持つ。なぜならAPIの料金はトークン単価で課金され、モデルが一度に処理できる情報量はコンテキストウィンドウ（トークン数上限）で決まるからだ。

現在のほぼすべての主要LLMが使用するトークン化アルゴリズムはBPE（Byte Pair Encoding：バイトペア符号化）だ。1994年にPhilip Gageが提案した圧縮アルゴリズムを、2016年にRicoら（Edinburgh大学）がNLP向けに転用した。

アルゴリズムの流れ： まず全文字（またはバイト）を初期語彙とする。次にテキストコーパス全体で「隣接するトークンのペア」の頻度を数え、最も多いペアを新しいトークンとして追加・マージする。これを語彙サイズが目標（通常3.2万〜10万語）に達するまで繰り返す。

具体例： "low", "lower", "newest", "widest"という4語から学習すると、最初は"e","s","t"のペアが頻出なので"est"が新トークンになる。次に"n","e","w","est"では"new"が多いので"new"が新トークンに。最終的に"low"→1トークン、"newest"→"new"+"est"の2トークン、"lower"→"low"+"er"の2トークンが学習される。

現在のトークナイザー：GPT-4・GPT-4oはtiktoken（OpenAI製BPE実装）、LLaMA・GemmaはSentencePiece（Google製、バイト直接処理で言語非依存）、Claude系はAnthropicの独自実装を使用する。

2025年以降の最前線： COLM 2025で発表されたSuperBPEは、通常のBPEで単語を学習した後、さらに単語をまたいだ「スーパーワードトークン」を学習する二段階方式だ。また2026年2月に登場したLiteTokenは、BPE学習過程でのみ使われ最終的に不使用になる「中間マージ残余」トークンを削除して語彙効率を改善する。

日本語・中国語・韓国語（CJK）のユーザーには、LLMの料金体系において構造的な不公平が存在する。

現在のBPEトークナイザーは、英語テキストを中心として学習されている。ラテン文字は頻出なので専用トークンが割り当てられ、"the"・"ing"・"tion"といった一般的なまとまりが1トークンで処理される。一方、日本語・中国語の文字はUTF-8で2〜3バイトを占めるため、BPEが効率的なトークンを学習しにくい。

結果として生まれるコスト差： 「こんにちは世界」（7文字）は英語の"Hello world"（2トークン）と意味が等価だが、トークン数は6〜8倍になる。実務レベルで言えば、同じ内容のコードレビュー依頼が英語では約6トークン、日本語では約16トークンとなり、APIコストが約2.7倍かかる計算になる。

Anthropicが管理するClaude Codeのリポジトリには、韓国人開発者から「英語圏の開発者と同じ作業をしているのに週次利用上限に2〜3倍速く達する」という問題提起のissue（#26401）が提出されている。これはCJK言語話者全体に共通する問題だ。

コンテキストウィンドウとは、LLMが一度の推論で参照できるトークン数の上限だ。この枠内に収まるテキストだけがモデルの「記憶」として機能し、枠を超えた情報は見えなくなる。

2020年のGPT-3は4,096トークン（A4約10枚分）が上限だった。2024〜2025年にかけてこれが爆発的に拡大し、Gemini 1.5 Proは200万トークン（長編小説複数冊分）を達成した。

しかしこの数字には重要な落とし穴がある。「コンテキスト崩壊（Context Rot）」と呼ばれる現象だ。モデルは公称の上限値よりはるかに手前から信頼性が低下し始める。実測では： - Claude 200K → 実用上限は約130K - Gemini 1M → 実用上限は約650K - GPT-4 128K → 実用上限は約83K

また、「中間消失（Lost in the Middle）」問題も深刻だ。長いコンテキストの冒頭と末尾は注意されやすいが、中間部分はモデルの注意が薄れ、重要な情報が埋没しやすい。

トークンの価格は、2023年初頭のGPT-4（入力$30/百万トークン）から、2026年の主要モデル（$1〜5/百万トークン）へと急落している。2年間で約10倍の価格低下が進行した。

主要モデルの価格比較（2026年4月、入力/出力、百万トークンあたり）： Anthropic Claude Sonnet 4.6は$3/$15。Claude Opus 4.6は$5/$25。OpenAI GPT-5.2は$1.75/$14。Google Gemini 3.1 Proは$2/$12。最安はOpenAI GPT-5 Nanoの$0.05/$0.40と、Gemini 3 Flashの$0.50/$3だ。

最も効果的なコスト削減技術：プロンプトキャッシュ 同じシステムプロンプトや長文ドキュメントを繰り返し送る場合、プロンプトキャッシュが劇的にコストを削減する。Anthropicではキャッシュ書き込みはベース料金の125%、キャッシュ読み込みはベース料金の10%（＝90%オフ）で処理される。1.4回以上キャッシュが使われれば元が取れる計算になり、レイテンシも50〜85%削減される。

OpenAIもキャッシュを自動適用し、読み込み時は通常の50%となる。2026年2月、AnthropicはAIエージェント向けに自動プロンプトキャッシュをリリースし、エージェントが長い会話履歴を繰り返し送る際のコストを大幅に削減した。

他の最適化手法： プロンプト圧縮（冗長テキスト除去で60〜80%削減可能）、セマンティックキャッシング（類似クエリへの再利用）、スマートモデルルーティング（簡単なタスクは安価なモデルへ）を組み合わせると、本番システムでは品質を落とさずに60〜80%のコスト削減が達成できる。

2024年12月、Meta AIが論文「Byte Latent Transformer（BLT）」を発表し、AI界に衝撃を与えた。BLTはトークン化を完全に廃止し、テキストをバイト列のまま直接処理するアーキテクチャだ。2025年のACLで発表された。

BLTの仕組み： テキストを固定語彙に変換せず、代わりに「次のバイトの予測難易度（エントロピー）」に基づいて動的にパッチ（バイトのまとまり）を作る。予測が難しい部分（固有名詞・専門用語・コードなど）は細かく切り、簡単な部分（接続詞・定型表現）は粗く切ることで、計算資源を重要箇所に集中させる。

アーキテクチャは3層構造：①ローカルエンコーダ（小型、バイト→パッチ変換）、②潜在グローバルトランスフォーマー（大型、意味処理）、③ローカルデコーダ（小型、パッチ→バイト変換）。

性能と効率： 80億パラメータ・4兆バイト学習の条件下でLlama 3と同等の性能を達成しつつ、推論時のFLOPsを最大50%削減した。特にスペルや文字操作タスク（バイト直接処理の強みが発揮される領域）ではLlamaを上回る。

CJK問題への影響： BLTには語彙バイアスがないため、日本語・中国語・韓国語が英語と構造的に対等に扱われる。現在のBPEが引き起こす「日本語ユーザーは2〜4倍多くコストを払う」問題が、原理的に解消されうる。

トークンをコスト計算の単位として理解するだけでは、本質を半分しか掴めていない。

トークンはAIの世界観の設定だ。 BPEが「どの文字列を1つのトークンにまとめるか」を学習データから決定した時点で、そのモデルが「何を重要と見なすか」の基礎が固まる。英語に最適化されたトークナイザーは、英語的な概念分割を日本語テキストに強制的に適用する。これは単なる技術的非効率ではなく、誰の言語感覚が「デフォルト」になるかという文化・権力の問題でもある。

トークン効率の向上は、AIの民主化と直結する。 MetaのBLTが実用化されれば、日本語・中国語・スワヒリ語・アラビア語のユーザーが英語話者と対等な料金でAIを使える時代が来る。プロンプトキャッシュが普及すれば、スタートアップが大企業と同じ品質のAIシステムを低コストで運営できる。技術的な進歩がそのまま経済的な平等化として現れる領域だ。

200万トークンのコンテキストは、人間が一生かけて読めない量の情報をAIが参照しながら答えを返す世界の始まりを意味する。その世界で「AIが参照する情報の質と偏り」をどうコントロールするかという問いが、次の5年の核心的な課題になる。