WordPieceは、自然言語処理でテキストを効率的に分割するために用いられるサブワード分割アルゴリズムです。単語をより小さな意味単位や文字の連なりに分解することで、未知語への耐性を高めつつ、語彙数を適切に抑えることができます。代表的な言語モデルであるBERTのトークナイザーとして広く知られています。
WordPieceとは
WordPieceとは、自然言語処理においてテキストを単語と文字の中間にあたる単位（サブワード）へ分割し、語彙サイズを抑えながら未知語に対応できるようにするトークン分割手法です。
詳しく解説
WordPieceは元々、音声認識システム向けに開発され、後に言語モデル「BERT」の標準的なトークナイザーとして広く普及しました。処理の仕組みとしては、まず全文字を基本単位とし、訓練コーパス全体の言語モデルの尤度（尤度スコア）を最も高める文字の組み合わせを反復的に統合して語彙（ボキャブラリ）を構築します。これにより、頻出する単語はそのまま1つのトークンとして保持し、出現頻度が低い単語や未知語は意味のある部分文字列（サブワード）に分解して表現できます。その結果、限られたボキャブラリサイズでありながら、文脈に依存する語彙の表現力を失わずにモデルの処理効率を大幅に向上させます。
具体例・使われ方
例えば、「playing」という単語を処理する場合、頻出語であればそのまま分割せず扱いますが、語彙に含まれていない場合は語幹「play」と語尾「##ing」のように分割します。BERTの実装では、単語の途中に続くサブワードの先頭に「##」を付与して元の単語の切れ目を識別できるようにしています。これにより、「playful」「played」などの派生語も効率的に共通の構成要素で表現されます。
似た用語との違い
類似のサブワード分割アルゴリズムであるByte Pair Encoding（BPE）は、出現頻度（出現回数）が最も高いペアを順次結合して語彙を作成しますが、WordPieceは結合した際に言語モデル全体の尤度が最も増加するペアを選択して語彙を拡張します。また、伝統的な形態素解析のように人手で定義された文法辞書に依存せず、統計的データに基づいて分割単位を自動決定する点も異なります。
注意点
WordPieceは統計的な最適化に基づいて分割を行うため、必ずしも人間が直感的に理解できる意味単位や文法的な形態素境界と一致するとは限りません。また、訓練時のコーパスの偏りによって語彙の構成が大きく変わるため、対象とするドメインや言語特性に合わせた適切なデータセットで語彙を構築する必要があります。