マスク言語モデルとは、文の一部を隠した状態で前後の文脈から隠された単語を予測・復元する自然言語処理の学習手法です。BERTなどの基盤モデルで広く採用され、文脈全体の深い理解力を獲得するために重要な役割を果たします。
マスク言語モデルとは
マスク言語モデルとは、入力テキストの一部を特殊なトークンで隠し、その隠された部分を周辺の文脈から予測させることで言語の構造を学習するAIモデルのことです。
詳しく解説
自己符号化モデルの一種であり、代表例としてBERTがあります。文章中のランダムな単語をマスクし、AIに両方向の文脈からその単語を推論させます。これにより、単語の単体での意味だけでなく、文脈に応じた動的な意味や文法構造を効率的に学習できるという特徴があります。
具体例・使われ方
「私は[MASK]へ行く」という文を入力した際、マスク言語モデルは前後の単語から「今日」や「学校」といった最適な単語を確率的に予測します。この仕組みは、検索エンジンのクエリ補完や、文章の穴埋め問題の自動解答などに活用されます。
似た用語との違い
左から右への文脈のみを予測する因果言語モデル（GPTなど）とは異なり、マスク言語モデルは両方向の文脈を同時に考慮できる点が大きな違いです。そのため、文章の生成よりもテキストの分類や分析、抽出タスクに強みを発揮します。
注意点
学習時に特殊なマスク記号を使用するため、実際のテキスト生成タスクをそのまま単体で行うことは得意ではありません。また、学習データに含まれる偏見や誤情報をそのまま学習してしまうリスクがあります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月15日 00:31