バイト・ペア・エンコーディング
Byte Pair Encoding（BPE）は、大規模言語モデルなどで広く使われるサブワード分割アルゴリズムです。頻出する文字のペアを結合していくことで、未知語への対応と語彙サイズの効率化を両立させ、現代のAIの基盤技術となっています。
トークナイザのAI用語一覧
1件トークナイザに関するAI用語を1件掲載しています。意味や使い方、関連用語を一覧から確認できます。
トークナイザに関するAI用語を1件掲載しています。意味や使い方、関連用語を一覧から確認できます。
Byte Pair Encoding（BPE）は、大規模言語モデルなどで広く使われるサブワード分割アルゴリズムです。頻出する文字のペアを結合していくことで、未知語への対応と語彙サイズの効率化を両立させ、現代のAIの基盤技術となっています。