1件の記事
ChatGPTやClaudeに文章を入力するとき、AIは実際には「文字」を読んでいない。テキストをいったん**トークン**という数値の断片に分解し、その数列を処理する。この仕組みが、APIの料金体系、日本語ユーザーへの不利、コンテキストウィンドウの限界、そしてモデルの性能の根底を支えている。**英語と比べて日本語は2〜4倍のトークンを消費する**という構造的な非対称、**コンテキスト4,096トークン（2020年）→200万トークン（2025年）**という500倍の拡張、そしてトークンそのものを廃止しようとするMetaの研究まで。トークンを理解すれば、生成AIの「お金・性能・限界・未来」がすべて見えてくる。