AIの自然言語処理や大規模言語モデルにおいて、モデルが理解・処理できる単語やサブワードの全集合を指します。トークナイザによってテキストがボキャブラリ内のIDに変換され、AIが計算可能な数値データとして扱われます。
ボキャブラリとは
ボキャブラリとは、AIがテキストを処理する際に認識できる単語や文字、部品（トークン）の全体リストのことです。
詳しく解説
大規模言語モデルや自然言語処理の仕組みにおいて、コンピュータは直接人間の文字を理解できません。そのため、文章を細かな断片に分割するトークナイザを用いてテキストを数値化します。この分割の基準となるのがボキャブラリであり、あらかじめ定められた固有のIDとテキスト断片の対応表として機能します。ボキャブラリのサイズや構成方法は、モデルの性能やメモリ効率、対応可能な言語の多様性に大きな影響を与えます。
具体例・使われ方
例えば、Transformerベースのモデルでは、よく使われる単語はそのまま、未知の単語や複雑な単語はサブワード（部分的な音節や文字のまとまり）に分解してボキャブラリに登録します。「自然言語処理」という入力があった場合、ボキャブラリを参照しながら「自然」「言語」「処理」といった単位に分解し、それぞれに対応するIDに変換して大規模言語モデルへ入力します。
似た用語との違い
一般的な日本語としての「語彙数（人間が知っている言葉の数）」というニュアンスに近いですが、AIの文脈では意味の理解度ではなく、システムがあらかじめ保持しているトークンの登録数そのものを指します。また、トークナイザが分割を行う「規則」そのものではなく、その結果として参照される「辞書データ」を指す点が異なります。
注意点
ボキャブラリに含まれていない未知の単語や絵文字、特殊な記号などが入力された場合、正しくトークン化できずに精度が低下したり、未知語として処理されたりする問題が生じます。また、ボキャブラリのサイズをむやみに大きくすると、大規模言語モデルのメモリ消費量や計算コストが増加するため、バランスの取れた設計が求められます。