交差エントロピー誤差は、機械学習モデルが出力した確率分布と正解データの確率分布との間の乖離を数値化する損失関数です。分類問題の学習において、モデルの予測精度を高めるための勾配降下法によるパラメータの更新に広く利用されています。
交差エントロピー誤差とは
一言でいうと、交差エントロピー誤差とは、正解と予測のズレを測るための評価基準であり、特に分類問題において正解ラベルに対する予測確率がどれだけ外れているかを定量的に評価する損失関数です。
詳しく解説
交差エントロピー誤差は、情報理論における交差エントロピーの概念を機械学習の損失関数に応用したものです。ニューラルネットワークの出力層でソフトマックス関数などを用いて得られた確率分布と、ワンホット表現された正解ラベルの分布との違いを計算します。予測が正解から大きく外れるほど誤差の値が急激に大きくなるため、正解クラスの確率を1に、不正解クラスの確率を0に近づけるように重みパラメータを効率的に学習させることができます。勾配消失問題が起きにくいという特徴もあり、多クラス分類の標準的な選択肢となっています。
具体例・使われ方
画像認識において、入力された画像が「猫」「犬」「鳥」のどれであるかを判別するタスクを考えます。正解が「猫」である場合、ワンホット表現は[1, 0, 0]となります。モデルが予測した確率分布が[0.7, 0.2, 0.1]であれば、正解クラスに対する確率が不十分であるため交差エントロピー誤差の値は大きくなります。もし予測が[0.99, 0.01, 0.0]であれば、誤差は非常に小さくなります。このように、損失関数の値を最小化するようにパラメータが調整されます。
似た用語との違い
平均二乗誤差が主に数値を直接予測する回帰問題で使われるのに対し、交差エントロピー誤差は確率を予測する分類問題で用いられます。平均二乗誤差を分類問題に適用すると、正解か不正解かに関わらず予測値が外れた度合いに応じて勾配が緩やかになることがあり、学習効率が低下する原因となりますが、交差エントロピー誤差では適切な勾配が得られます。
注意点
交差エントロピー誤差を計算する際、モデルの出力確率が正確に0になると対数関数の計算で発散（無限大）を起こすため、実際の実装では微小な数値を足すなどの数値安定性のための工夫が必要です。また、あくまで確率的な出力と正解ラベルのズレを評価するものであり、出力された確率の絶対値がそのまま人間の直感的な確信度と一致するとは限らない点にも注意が必要です。