赤池情報量基準(AIC)とは、統計モデルの良さを評価するための指標です。データの当てはまりの良さとモデルの複雑さのバランスを考慮し、未知のデータに対して最も汎化性能が高いモデルを選定するために機械学習や統計学で広く用いられます。
赤池情報量基準とは
赤池情報量基準(AIC)とは、統計モデルや機械学習モデルの複雑さと、データへの当てはまりの良さを同時に評価し、最適なモデルを選択するための指標です。
詳しく解説
AICは、日本の統計学者である赤池弘次によって1973年に提案されました。モデルが複雑になりすぎると、手元のデータには過剰に適合するものの未知のデータに対して予測精度が落ちるという過学習が起きます。AICは対数尤度を用いてデータの適合度を測りつつ、推定するパラメータの数(モデルの複雑さ)をペナルティとして加算します。この値が小さいほど、シンプルかつデータに適切にフィットした優れたモデルであると判断されます。機械学習においては、特徴量選択や回帰分析のモデル最適化に欠かせない基準となっています。
具体例・使われ方
例えば、複数の説明変数を持つ重回帰分析において、どの変数を選ぶべきか迷ったときに利用されます。変数が多いモデルAと少ないモデルBのAICをそれぞれ計算し、AICがより小さいモデルを採用することで、無駄な変数を削りつつ予測精度の高いモデルを構築できます。
似た用語との違い
平均二乗誤差(MSE)や決定係数などは、手元のデータに対する当てはまりの良さだけを評価するため、変数を増やすほど値が良くなってしまう傾向があります。これに対し、赤池情報量基準はモデルの複雑さにペナルティを科すため、過学習を防ぎながら適切なモデルを選べる点が異なります。また、ベイズ的なアプローチに基づくBIC(ベイズ情報量基準)とも混同されやすいですが、BICはサンプルサイズに応じた強いペナルティを与える点でAICとは異なります。
注意点
AICの数値そのものは相対的な比較にのみ意味があり、単体の数値だけではモデルの良し悪しを絶対的に判断できません。また、データ数が非常に少ない場合や、真のモデルが候補に含まれていない場合には適切な選択ができない限界があります。