尤度比検定とは、2つの統計モデル(制約のある単純なモデルと、制約のない複雑なモデル)の適合度を比較するための統計的検定手法です。得られたデータがどちらのモデルにより適合しているかを尤度(もっともらしさ)の比を用いて判定します。機械学習における変数の選択や、予測モデルの評価などに広く応用されています。
尤度比検定とは
尤度比検定は、データに対する2つの統計モデルの適合度を、それぞれの「尤度(データがそのモデルから発生する尤もらしさ)」の比率を用いて比較し、どちらのモデルがより適切かを統計的に判定する手法です。
詳しく解説
尤度比検定(LRT)は、パラメータに制約を課した「帰無仮説モデル(単純なモデル)」と、制約のない「対立仮説モデル(複雑なモデル)」の2つのネスト(包含)関係にあるモデルを比較します。具体的には、それぞれのモデルにおいて最大化された尤度の比(尤度比)を計算します。この尤度比の対数を2倍した統計量(対数尤度比統計量)は、サンプルサイズが十分に大きい場合、モデルの自由度の差を自由度とする「カイ二乗分布」に近似的に従うという性質(ウィルクスの定理)を利用します。機械学習や統計モデリングにおいて、特徴量を増やすことでモデルの表現力は上がりますが、過学習のリスクも高まります。尤度比検定は、追加した特徴量(パラメータ)が統計的に有意に予測精度の向上に寄与しているかを厳密に評価するために重要です。
具体例・使われ方
例えば、ロジスティック回帰を用いてユーザーの購買行動を予測するケースを考えます。「年齢」のみを特徴量とする単純なモデル(帰無仮説)と、さらに「性別」と「過去の閲覧履歴」を追加した複雑なモデル(対立仮説)を比較します。尤度比検定を行うことで、追加された「性別」や「過去の閲覧履歴」というパラメータが、単なるノイズではなく、購買予測モデルの適合度を有意に改善しているかを判定できます。もし検定結果が有意であれば、これらを追加した複雑なモデルを採用する妥当性が示されます。
似た用語との違い
混同されやすい指標に「赤池情報量基準」や「ベイズ情報量基準」があります。これらはモデルの良さを比較する評価指標ですが、尤度比検定とはアプローチが異なります。赤池情報量基準などはネスト関係にない全く異なる構造のモデル同士も直接比較でき、パラメータ数に対するペナルティを課して最良のモデルを探索的に選択するのに適しています。これに対し、尤度比検定は一方が他方に内包されるネスト関係にあるモデル間のみに適用され、「パラメータを追加することに統計的な有意差があるか」という仮説検定の枠組みで意思決定を行います。
注意点
尤度比検定を正しく適用するためには、比較する2つのモデルが「ネスト関係(包含関係)」にある必要があります。全く異なる変数を用いた独立したモデル同士の比較には使用できません。また、この検定は漸近的な性質に依存しているため、「サンプルサイズ」が十分に大きいことが前提となります。データ数が少ない場合には、カイ二乗分布への近似が不正確になり、検定結果の信頼性が低下する恐れがあります。さらに、パラメータが境界値にある場合など、ウィルクスの定理が成立しない特殊なケースでは適用できない点にも注意が必要です。