交差エントロピー損失は、主に分類問題で用いられる代表的な損失関数です。モデルが出力した予測確率分布と実際の正解ラベルの確率分布とのギャップを数値化します。予測が正解に近づくほど損失値は小さくなり、正解から遠ざかるほど大きなペナルティが課されます。深層学習をはじめとする分類モデルの学習で幅広く利用されています。
交差エントロピー損失とは
交差エントロピー損失とは、AIモデルが予測した確率分布と実際の正解ラベルの差を計算し、モデルの予測がどれくらい正解から離れているかを数値で表す指標（損失関数）です。
詳しく解説
機械学習における分類問題では、モデルは各クラスに該当する確率を出力します。交差エントロピー損失は、正解となるクラスの予測確率に対して対数を適用して評価します。正解クラスの予測確率が1に近づくほど損失は0に近づきますが、逆に0に近い低い確率しか割り当てていない場合は損失が急激に大きくなります。このペナルティ構造により、勾配降下法などの最適化アルゴリズムにおいてモデルのパラメータを正解へ効率的に更新できるようになります。特に多クラス分類の最適化に不可欠な役割を果たしています。
具体例・使われ方
例えば、画像に写っている動物が「犬」「猫」「鳥」のいずれかを判定する多クラス分類モデルを考えます。正解ラベルが「犬」の場合、モデルが「犬: 0.9, 猫: 0.05, 鳥: 0.05」と予測すれば交差エントロピー損失は小さくなります。しかし「犬: 0.1, 猫: 0.8, 鳥: 0.1」と予測した場合は、正解に対する予測確率が低いため非常に大きな損失が算出され、モデルは大きく修正されます。通常、出力層にソフトマックス関数を組み合わせて用いられます。
似た用語との違い
回帰問題でよく使われる二乗誤差との違いが挙げられます。二乗誤差は予測値と実数値の物理的な差の2乗を計算しますが、確率の評価には適していません。分類問題において二乗誤差を使うと、予測が大きく外れているときに学習が進みにくくなる問題が生じます。これに対し交差エントロピー損失は、確率のズレに対して適切な勾配を提供できるため、分類タスクにおいて二乗誤差よりもはるかに学習効率が良くなります。
注意点
交差エントロピー損失を使用する際は、予測確率が完全に0または1になると対数計算で無限大が発生する数値的不安定性に注意が必要です。実際のライブラリでは実装上の工夫や平滑化が行われています。また、データセットのクラス均衡が崩れている（特定クラスのデータが極端に少ない）場合、多頻度クラスに引きずられて適切な学習ができないリスクがあるため、重み付けなどの対策が必要です。