トークナイザーのAI用語一覧

サブワード

サブワードとは、単語をそれより短い文字の断片に分割して処理する自然言語処理の手法です。未知語への対応や語彙数の爆発を防ぐため、大規模言語モデルなど多くのAIで標準的に採用されています。