トークンとは、AI（特に自然言語処理モデル）がテキストデータを処理する際に分割する最小の文字列単位です。単語や文字、あるいはサブワード（単語の一部分）がこれに該当します。大規模言語モデルなどのAIは、入力された文章を一度トークンに分割し、それぞれを数値に変換することで高度な言語処理を実現しており、料金や処理性能を測る上での基本単位となっています。
トークンとは
トークンとは、AIや自然言語処理モデルがテキストを解釈・生成する際に、文章を細かく分割した最小の処理単位です。
詳しく解説
自然言語処理を専門とする大規模言語モデル（LLM）などのAIは、人間の言語をそのまま理解することはできません。そのため、入力されたテキストを「トークナイザー」と呼ばれるプログラムを使って、一定のルールに基づき「トークン」という細かいパーツに分解します。この分解の単位は、単語そのもの（単語単位）、一文字ずつ（文字単位）、あるいはその中間である「サブワード」単位など、モデルの設計によって異なります。分解されたトークンはそれぞれ固有のID（数値）に変換され、ベクトルデータとしてAIモデルの内部で処理されます。トークンはAIの入力制限や、処理に必要な計算コスト、利用料金の算出などにおける最も基本的な単位として、極めて重要な役割を担っています。
具体例・使われ方
英語の「learning」という単語を処理する場合、サブワード単位のトークナイザーでは「learn」と「ing」の2つのトークンに分割されることがあります。また、日本語の「人工知能」という言葉であれば、モデルによっては「人工」と「知能」の2つ、あるいは「人」「工」「知」「能」の4つのトークンに分割されます。このように、文字数や単語数とトークン数は必ずしも一致しません。
似た用語との違い
「トークン」と混同されやすい概念として「文字数」や「単語数」があります。文字数は純粋にテキストの文字の個数であり、単語数はスペースなどで区切られた語彙の数を示します。これに対し、トークンはAIモデル固有の辞書に基づいて分割された処理単位です。日本語の場合、漢字やひらがなの組み合わせによって、1文字が複数のトークンとしてカウントされたり、逆に複数文字が1つのトークンにまとめられたりするため、文字数や単語数とトークンの数は異なります。
注意点
AIサービスの利用料金やプロンプトの入力制限は、多くの場合トークン数に基づいて計算されます。日本語は英語と比較して、1文字あたりのトークン数が多くなりやすい性質（トークン効率が悪い傾向）があります。例えば、英語では1単語が1トークンで済む場合でも、日本語で同等の意味を持つ表現は数倍のトークン数を消費することがあり、コストが割高になったり、一度に入力できる文章量が少なくなったりする制約に注意が必要です。