最適化機械学習確率モデル

エビデンス下界

えびでんすげかい · Evidence Lower Bound
17 views

エビデンス下界(ELBO)は、確率的生成モデルの学習において直接計算が困難な周辺尤度を効率的に近似・最大化するために用いられる数学的な下限値です。変分推論の中核概念であり、複雑な確率分布の推定を可能にします。

エビデンス下界とは

エビデンス下界とは、一言でいうと、直接計算できない複雑な確率モデルの尤度(エビデンス)を近似的に最大化するための数学的な「下限値」のことです。英語のEvidence Lower Boundの頭文字をとって「ELBO」とも呼ばれます。

詳しく解説

機械学習や統計学において、観測データが得られる確率である「周辺尤度(エビデンス)」を正確に計算することは、複雑な確率モデル(特に深層学習モデル)では極めて困難です。そのため、真の事後分布の代わりに扱いやすい変分分布を導入し、Jensenの不等式などを用いることで対数尤度の下界を導出します。この下界を最大化することは、真の事後分布と変分分布の間のKLダイバージェンスを最小化することと数学的に等価となります。これにより、計算不可能な積分計算を最適化問題へと変換し、効率的な学習を実現しています。

具体例・使われ方

具体的な利用例として、変分オートエンコーダー(VAE)の損失関数が挙げられます。VAEでは、潜在変数の確率分布を学習するためにエビデンス下界を最大化する設計になっており、入力データを再現しつつ潜在空間の正則化を同時に行います。また、トピックモデルやベイジアンネットワークの近似推論でも広く活用されています。

似た用語との違い

最尤推定や最大事後確率(MAP)推定と混同されやすいですが、それらが点推定や事前分布を考慮した特定パラメータの算出を目的とするのに対し、エビデンス下界は確率分布全体の変分推論における最適化基準という違いがあります。

注意点

エビデンス下界はあくまで「下限値」であるため、下界を最大化しても必ずしも真の周辺尤度が最大値に達しているとは限りません。また、導入する変分分布の仮定が不適切な場合、近似の精度が大きく低下し、モデルの性能が制限される点に注意が必要です。

更新日時: 2026年9月8日 06:41