ベイズモデル比較とは、複数の統計モデルや機械学習モデルの中から、観測データに対して最も妥当なモデルをベイズ統計学の枠組みに基づいて評価・選択する手法です。モデルの複雑さに応じた自動的なペナルティが働くため、過学習を防ぎつつデータへの適合度を客観的に比較できる特徴があります。
ベイズモデル比較とは
ベイズモデル比較とは、観測データに基づいて複数の候補モデルの優劣をベイズ統計学の確率的アプローチによって評価し、最適なモデルを選択または重み付けする手法です。
詳しく解説
ベイズモデル比較の核となるのは周辺尤度の計算です。周辺尤度はモデルのすべてのパラメータについて事前分布を用いて積分・周辺化したデータの発生確率を表します。これにより、データに過剰適合する複雑なモデルには自然とペナルティが課され、過学習を抑制する仕組みが働きます。2つのモデルを比較する際には、周辺尤度の比率であるベイズファクターが広く用いられます。パラメータの点推定値のみを評価する手法とは異なり、パラメータ全体の不確実性を考慮して比較できる点が理論的な強みです。
具体例・使われ方
例えば、多項式回帰においてデータの傾向を表現するのに最適な次数（1次式、2次式など）を決定する問題や、異なる構造を持つニューラルネットワーク候補の評価に利用されます。また、単一のモデルに絞り込まずに各候補モデルの事後確率に応じて予測結果を統合する、ベイズモデル平均化の基盤としても活用されます。
似た用語との違い
一般的なモデル選択手法である交差検証との違いは、交差検証がデータを分割して汎化性能を経験的に評価するのに対し、ベイズモデル比較は事前分布と全データを用いてモデルの確率そのものを数理的に導出する点にあります。また、赤池情報量基準（AIC）などが漸近的な近似に基づくのに対し、データ数が少ない状況でも事前知識を活かして厳密な比較が可能です。
注意点
周辺尤度の厳密な算出には高次元の積分計算が必要となるため、複雑なモデルではマルコフ連鎖モンテカルロ法（MCMC）や変分推論などの近似計算を用いても計算コストが非常に大きくなる傾向があります。また、設定した事前分布が比較結果に大きな影響を与える場合があるため、不適切な事前分布の選定によって誤ったモデルが支持されるリスクに注意が必要です。