対数尤度とは、観測されたデータが特定の確率モデルから発生する確からしさを示す「尤度」の自然対数をとった指標です。機械学習や統計学において、データの発生確率を最大化するパラメータを効率的に計算するために用いられます。乗算を加算に変換できるため計算精度や速度が向上し、モデルの学習処理で広く利用されています。
対数尤度とは
対数尤度を一言でいうと、モデルがデータをどれだけうまく説明できているかを示す指標（尤度）を対数変換した計算用の尺度です。
詳しく解説
データが特定の確率分布に従うと仮定したとき、そのデータが得られる確率をパラメータの関数として表したものを「尤度」と呼びます。しかし、独立した複数のデータに関する尤度は確率の掛け算となるため、データ数が増えると値が極めて小さくなり、コンピュータ上でアンダーフローを起こす原因になります。そこで、尤度の自然対数をとった「対数尤度」を使用します。対数をとることで積を和に変換できるため計算が単純化され、数値的安定性が大幅に向上します。さらに、対数関数は単調増加関数であるため、尤度を最大化するパラメータと対数尤度を最大化するパラメータは完全に一致します。この性質を利用して最適なモデルを求める手法を最尤推定と呼び、機械学習の学習アルゴリズムにおいて極めて重要な役割を果たしています。
具体例・使われ方
例えば、コイン投げの表が出る確率を推定する問題や、画像認識モデルの学習で活用されます。特に分類問題において用いられる交差エントロピーは負の対数尤度と密接に関連しており、モデルのパラメータ更新で用いられる損失関数の計算基盤となっています。
似た用語との違い
尤度との違いは、確率の積であるか、その対数をとった和であるかという点です。数学的な意味合いは同じですが、計算効率や安定性において対数尤度が優れています。また、損失関数は「減らすべき誤差」を表す指標であるのに対し、対数尤度は「増やすべき適合度」を表す指標であるため、最適化時には符号を反転させて扱われます。
注意点
対数尤度はモデルの適合度を示す指標ですが、値そのものがモデルの絶対的な性能を決定づけるわけではありません。データ数が少ない場合やモデルが複雑すぎる場合は過学習が発生し、未学習データに対する予測性能が落ちる可能性があります。また、確率分布の確率値が0になると対数計算が不可能になるため、実装時には微小な値を足すなどの注意が必要です。