交差エントロピーとは、機械学習や深層学習の分類問題で広く使われる損失関数のひとつです。正解ラベルの確率分布と、モデルが予測した確率分布との違いを数値化し、AIの予測精度を高めるための誤差計算において重要な役割を果たします。
交差エントロピーとは
一言でいうと、交差エントロピーとは「AIの予測した確率と、実際の正解データとの間にどれくらいのズレがあるかを測る指標」です。
詳しく解説
交差エントロピーは情報理論に由来する概念で、確率分布間の差異を測るために用いられます。深層学習をはじめとする機械学習の分野では、モデルが出力した予測確率と真の正解ラベルとの間の誤差を計算する損失関数（交差エントロピー誤差）として広く利用されています。この誤差を最小化するようにモデルのパラメータを最適化することで、AIの分類精度が向上します。特に多クラス分類を行うニューラルネットワークの出力層と組み合わせて使われることが多く、勾配降下法による学習を安定させるうえで極めて重要な役割を持っています。
具体例・使われ方
画像認識AIが「猫」「犬」「鳥」の画像を分類するタスクを例にします。正解が「猫」である画像に対し、AIが「猫：0.8、犬：0.15、鳥：0.05」と予測した場合、正解ラベルの分布と予測分布のズレを交差エントロピーによって計算します。この誤差が大きいほど、モデルへのペナルティ（損失）が大きくなり、重みの調整が強く行われます。
似た用語との違い
平均二乗誤差（MSE）と比較されることがよくあります。平均二乗誤差は主に回帰問題で連続値を予測する際に使われるのに対し、交差エントロピーは主に確率を出力する分類問題で使われます。分類問題において交差エントロピーを用いる方が、確率の微小な変化に対して勾配が適切に働きやすいため、学習が効率的に進むという特徴があります。
注意点
交差エントロピー損失を計算する際、予測確率がゼロに近い値になると対数の計算上、値が発散してしまうおそれがあります。そのため、実際のプログラム実装では数値安定性を保つための工夫（ソフトマックス関数と損失計算の統合など）が不可欠です。また、あくまで分布のズレを測る指標であるため、モデル全体の過学習を防ぐためには正則化などの他の手法と併用する必要があります。