多重検定とは、一つのデータセットに対して同時に多数の統計的仮説検定を行うことです。機械学習モデルの性能評価や特徴量選択などで繰り返し検定を行うと、偶然誤った結論を導く確率が高まるため、適切な補正が必要となります。
多重検定とは
一言でいうと、多重検定とは、複数の統計的仮説検定を同時に行うことであり、検定の回数が増えるほど誤って有意差を検出してしまうリスクが高まる現象とその問題のことです。
詳しく解説
統計的仮説検定では、通常5%などの有意水準を設定し、偶然ではなく意味のある差が存在する確率を評価します。しかし、機械学習のモデル評価や特徴量選択において、数多くの変数や仮説に対して同時に検定を繰り返すと、偶然によって有意な結果が得られる確率が累積して高まります。この問題に対処するため、第一種の過誤を制御するための補正手法が重要となります。
具体例・使われ方
機械学習における多数の特徴量の中から、目的変数に対して有意に関連している変数を選び出す特徴量選択の場面や、複数の異なるアルゴリズムの精度比較を何度も行う際に多重検定が発生します。
似た用語との違い
単一の仮説のみを検証する通常の仮説検定とは異なり、多重検定では多数の検定を同時に扱うため、偽陽性を防ぐための統計的な補正手法を用いる点が大きく異なります。
注意点
多重検定の補正を行わずに統計的検定を繰り返すと、実際には意味のない関係性を見出してしまう偽陽性が多発するため、信頼性の低いモデルや誤ったデータ分析結果を生成するリスクがあります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月21日 09:30