ソフトターゲットとは、機械学習モデルの訓練において単一の正解ラベルではなく、各クラスへの分類確率という連続的な確率分布として表現された学習目標データのことです。主に知識蒸留などで用いられ、モデルが持つ正解以外のクラスに関する確信度や類似性といった詳細な情報を効率よく生徒モデルへ継承させる役割を果たします。
ソフトターゲットとは
ソフトターゲットとは、正解か否かを0か1かで表すハードターゲットとは異なり、モデルが出力する各クラスの予測確率のように柔軟な連続値として表現された学習用の正解データのことです。
詳しく解説
機械学習における一般的な分類問題では、正解クラスを1、それ以外を0とするハードターゲットが用いられます。しかし、巨大な教師モデルが予測した出力確率（ソフトターゲット）には、「この画像は犬である確率が80%だが、猫である確率も15%ある」といった、クラス間の類似性に関する豊富な情報が含まれています。この情報を活用するのが知識蒸留と呼ばれる技術です。ソフトターゲットは通常、ソフトマックス関数を通じて調整された確率分布として生成され、学習時の目標として用いられます。
具体例・使われ方
大型の画像認識用モデルの知識を、スマートフォンで動作する軽量モデルに移転させる場面で活用されます。教師モデルが出力したソフトターゲットを目標にして生徒モデルを訓練することで、単なる正解ラベルだけを学習させるよりも高い精度を軽量モデルで実現できます。
似た用語との違い
正解クラスを1、非正解クラスを0とする指標をハードターゲットと呼びます。ハードターゲットは正解を明確に示しますが、正解以外のクラス同士の類似性などの詳細情報を保持できません。一方、ソフトターゲットは確率分布の形式で情報を与えるため、モデルの知識をより細かく表現できます。
注意点
ソフトターゲットは教師モデルの予測結果に依存するため、教師モデル自体が誤った予測や過剰な確信度を持っている場合、その不正確な情報が生徒モデルに伝播するリスクがあります。また、適切な確率分布を生成するための設定が不十分だと、十分な学習効果が得られない場合があります。