最尤推定とは、観測されたデータから、それが生成される確率が最も高くなるようなパラメータを逆算する統計的な推計手法です。機械学習のモデル学習やパラメータ推定において、確率モデルの最適な設定値を求めるための基礎技術として広く利用されています。
最尤推定とは
最尤推定（Maximum Likelihood Estimation）とは、得られたデータが最も起こりやすそうな（尤もらしい）パラメータの値を求める統計的推定手法のことです。
詳しく解説
最尤推定では、まずデータが生成される確率を表す確率モデルと尤度関数を定義します。その上で、尤度が最大となるパラメータの値を微分などの数学的手法を用いて探索します。機械学習においては、ニューラルネットワークの重みやバイアスの最適化など、確率的なアプローチをとる多くのアルゴリズムの根底を支える重要な原理となっています。
具体例・使われ方
例えば、コインを10回投げて表が7回出たという観測データがあったとします。このとき、コインの表が出る確率が何％であれば、今回のデータが最も起きやすいかを逆算するのが最尤推定のイメージです。AIの分野では、画像認識モデルや言語モデルにおいて、入力データに対する出力の確率を最大化するパラメータを決定するために用いられます。
似た用語との違い
最尤推定と混同されやすい手法に「最大事後確率推定（MAP）」があります。最尤推定がデータの確率（尤度）のみを最大化するのに対し、最大事後確率推定はパラメータ自体の事前確率も考慮に入れて推定を行う点が異なります。また、機械学習でよく使われる損失関数の一つである交差エントロピー誤差の最小化は、確率モデルにおいては最尤推定と等価であることが知られています。
注意点
最尤推定は直感的で強力な手法ですが、データ数が少なすぎる場合には過学習を起こしやすく、過剰に偏ったパラメータを推定してしまうリスクがあります。また、定義した確率モデルが実際のデータ分布と大きくかけ離れている場合、得られるパラメータの信頼性も低下するため、モデルの選定や正則化手法との併用など適切な配慮が必要です。