自己監督学習は、人間の手によるラベル付けなしで大量のデータからデータ自身を教師として特徴を学ぶ機械学習の枠組みです。事前学習の効率を大きく高め、生成AIや画像認識など現代のディープラーニングの基盤技術となっています。
自己監督学習とは
自己監督学習とは、人間がラベルを付与した教師データを用意するのではなく、データ自身が持つ構造や一部の情報から自動的に問題（擬似タスク）を作り出して学習する機械学習の手法です。
詳しく解説
背景として、従来の教師あり学習では膨大なデータに対して人間が一つひとつ正解ラベルをつける必要があり、コストと時間がボトルネックになっていました。自己監督学習では、例えば「画像のランダムな一部を隠して予測させる」「文章の途中の単語を穴埋めさせる」といったタスクをモデルに解かせることで、ラベルなしの大規模データからデータ本質の特徴や表現を効率的に獲得できます。この手法で得られたモデルは事前学習済みモデルとして活用され、少量の教師ありデータでファインチューニングを行うことで、様々な下流タスクで高い性能を発揮します。
具体例・使われ方
具体的な利用例として、自然言語処理の分野における言語モデルの穴埋め予測学習があります。また、コンピュータビジョンでは画像の一部をマスクして復元するタスクや、画像の色づけ、データ拡張された画像同士の類似度を最大化するコントラスティブ学習などが挙げられます。これらは、近年の大規模な基盤モデルの構築において必須のプロセスとなっています。
似た用語との違い
教師あり学習との最大の違いは正解ラベルの有無です。教師あり学習が人間が与えた正解を予測するのに対し、自己監督学習はデータ自身から作り出した擬似的な正解を予測します。また、完全な正解データを用いない点では教師なし学習に似ていますが、データから擬似的な教師信号を自ら生成して学習する点で区別されます。
注意点
注意点として、自己監督学習は万能ではなく、どのような擬似タスク（プレテキストタスク）を設定するかによって得られる特徴量の質が大きく左右されます。また、モデルの事前学習には依然として膨大な計算資源とデータ量が必要であり、すべてのドメインで同じように有効に機能するとは限らないという限界があります。