マスクとは、AIや機械学習においてデータの一部を意図的に隠したり、計算から除外したりする処理のことです。自然言語処理のTransformerやBERTにおける事前学習で特定単語を隠して予測させるマスク言語モデルや、画像認識の画像セグメンテーションで特定領域を抽出する処理、ニューラルネットワークの計算で未来の情報を参照させないために用いられます。
マスクとは
マスクとは、ニューラルネットワークの学習や推論において、特定の入力データや計算結果の一部を意図的に隠す、あるいは無効化（ゼロに）する処理のことです。
詳しく解説
機械学習におけるマスク処理は、主に2つの重要な目的で使用されます。1つ目は、シーケンス制御です。自然言語処理のTransformerなどで、未来の単語情報を隠すことで、モデルが未来の答えをカンニングせずに次の単語を予測できるようにします。また、バッチ処理時に文の長さを揃えるために追加されたパディング部分を計算から除外するパディングマスクも重要です。2つ目は、事前学習におけるタスク設計です。BERTなどのマスク言語モデルでは、入力テキストの一部の単語を特殊なトークンに置き換え、文脈からその元の単語を予測させることで、高度な言語理解を可能にします。画像処理においても、特定の関心領域のみを抽出して処理を限定する手法として広く用いられています。
具体例・使われ方
代表的な例として、BERTの事前学習が挙げられます。例えば、「私は[MASK]を食べた」という文を与え、[MASK]に入る言葉（リンゴなど）を予測させます。また、画像認識における画像セグメンテーションでは、道路や歩行者の領域だけを「マスク画像」として切り出し、そのエリア内のみを検出・分類する処理に利用されます。
似た用語との違い
マスクとドロップアウトは混同されがちですが、目的が異なります。ドロップアウトは過学習を防ぐために学習プロセス中にランダムにニューロンの接続を一時的に無効化する手法です。一方、マスクは、入力データ構造の制御、特定の意味的な領域の保護、あるいは未来のカンニング防止といった、データの論理的・構造的なルールに従って特定部分を非表示または無効化する処理を指します。
注意点
マスク処理を誤ると、学習が正常に進まない原因になります。例えば、Transformerのデコーダ側で未来情報を隠すマスクを正しく設定しないと、モデルが未来の単語を参照してしまい、学習時は高精度に見えても実際の推論時に全く機能しない現象が発生します。また、画像認識において不適切なマスクを作成すると、背景のノイズが混入したり、検出したい対象が欠けてしまったりするため、境界線の精密な設定が求められます。