自然言語処理や大規模言語モデルにおいて、テキストを分割した最小単位である「トークン」の総数のことです。AIが処理できるデータの量や、APIの利用料金を決定する重要な指標です。文字数や単語数とは完全に一致せず、言語やトークナイザーの仕様によって数え方が異なるのが特徴です。
トークン数とは
「トークン数」とは、AI（特に大規模言語モデル）がテキストを処理する際に、文章を分解した最小単位である「トークン」の総量のことです。
詳しく解説
自然言語処理モデルは、テキストをそのまま理解するのではなく、「トークン」と呼ばれる細かな断片に分割して処理を行います。このトークンの合計量がトークン数です。トークン数は、AIモデルの「文脈ウィンドウ」と呼ばれる、一度に処理・記憶できる情報の限界値を規定する重要な要素です。また、多くの商業用AI APIの料金体系は、入力されたトークン数と出力されたトークン数の合計に基づいて課金されるため、コスト管理の面でも非常に重要な指標となっています。
具体例・使われ方
例えば、英語の文章をトークナイザーに入力すると、単語単位やそれ以下に分割されます。日本語の場合は文字の特性上、英語に比べてトークン数が多くなりやすい傾向があります。具体的には、日本語の「AIを学ぶのは楽しい」という10文字程度の文でも、モデルによっては「AI」「を」「学ぶ」「の」「は」「楽しい」のように複数のトークンに分割され、文字数以上のトークン数としてカウントされることがあります。
似た用語との違い
「文字数」や「単語数」と混同されやすいですが、これらは明確に異なります。文字数は単純な文字の個数であり、単語数はスペースなどで区切られた単語の数です。これに対し、トークン数は「トークナイザー」という専用のアルゴリズムによって分割された単位の数です。特に日本語などのマルチバイト文字は、1文字が複数のトークンに分割されることがあり、一般的に文字数よりトークン数が多くなるケースが目立ちます。
注意点
同じ文章であっても、使用する大規模言語モデルやトークナイザーの種類によって、算出されるトークン数は大きく異なります。また、プロンプトに日本語を使用する場合、英語に比べてトークン数を多く消費するため、API利用時のコストが高くなったり、一度に処理できる文脈ウィンドウの限界に早く達してしまったりする点に注意が必要です。