ベイズ情報量基準（BIC）は、統計モデルや機械学習モデルの良さを評価し、適切なモデルを選択するための基準です。モデルのあてはまりの良さとパラメータの複雑さのバランスを考慮し、過学習を防ぎながら最適なモデルを客観的に選定するために用いられます。
ベイズ情報量基準とは
ベイズ情報量基準とは、データに対するモデルの適合度と、モデルの複雑さ（パラメータ数）のペナルティを組み合わせ、未知のデータに対しても汎化性能が高い最適なモデルを選ぶための指標です。
詳しく解説
ベイズ情報量基準は、統計的モデルの選択において広く使われる指標の一つです。モデルが複雑になりすぎると、訓練データには過剰適合するものの未知のデータに対しては予測精度が落ちる「過学習」が起きやすくなります。BICは尤度の最大化を目指しつつも、パラメータ数が多い複雑なモデルに対して強いペナルティを課すことで、よりシンプルで本質的なモデルを選びやすくします。計算にはモデルの対数尤度とサンプルサイズ、パラメータ数が用いられます。
具体例・使われ方
機械学習における多項式回帰分析で、次数をいくつに設定すべきかを決める際に利用されます。1次から5次までのモデルを作成し、それぞれのBICを計算したとき、最も値が小さくなるモデルを選択することで、データに過不足なく適合する最適な次数のモデルを決定できます。
似た用語との違い
赤池情報量基準（AIC）と比較されることが多く、AICは予測精度の高さを重視するのに対し、ベイズ情報量基準は真のモデルを有限サンプルの中から確率的に正しく選び出す一致性を重視します。また、BICはAICに比べてパラメータ数に対するペナルティが厳しく設定される傾向があり、よりシンプルなモデルが選ばれやすくなります。
注意点
データ数が非常に少ない場合や、真のモデルが想定しているクラスに含まれない場合にはうまく機能しないことがあります。また、あくまで相対的な比較指標であるため、計算された値そのものに絶対的な意味はなく、同じデータセットを用いて比較されたモデル同士の間でのみ有効です。