ボンフェローニ補正とは、複数回の統計的仮説検定（多重検定）を行う際に発生する偽陽性の増加を防ぐための統計的補正手法です。全体の有意水準を検定回数で割った厳しい基準を各検定に適用することで、誤った結論を導くリスクを抑えます。機械学習モデルの比較や多条件のA/Bテストなどで信頼性を高めるために用いられます。
ボンフェローニ補正とは
ボンフェローニ補正とは、複数回の統計的仮説検定（多重検定）を行う際に、誤って有意差があると判断してしまう偽陽性の確率上昇を抑えるための統計手法です。
詳しく解説
統計解析や機械学習モデルの比較などで複数回の仮説検定を繰り返すと、偶然に有意な結果が得られる確率が高まる多重性の問題が発生します。たとえば有意水準を5%に設定して検定を20回行うと、少なくとも1回は偽陽性が生じる確率は約64%まで上昇します。この問題を解決するため、ボンフェローニ補正では全体での第1種の誤りの発生率を一定以下に保つ目的で、全体の有意水準を設定した検定回数で割った厳格な基準値を用いて各検定を判定します。計算が非常にシンプルで実装しやすいことが大きな利点です。
具体例・使われ方
複数の機械学習アルゴリズムの性能評価において、A/Bテストや複数モデル間の統計的有意性を同時に評価する場面で利用されます。例えば、10種類の新しい予測モデルと従来モデルを比較する際、各検定の有意水準を標準の0.05から0.005（0.05/10）へ変更して厳しく判定します。これにより、偶然良くなっただけのモデルを誤って採用するリスクを防ぐことができます。
似た用語との違い
ボンフェローニ補正と似た手法にホルム法があります。ホルム法はボンフェローニ補正と同様に多重検定の過誤率を制御しますが、より検出力が高く過度に保守的になりにくい特徴を持ちます。また、多数の検定を行うデータマイニングなどでは、全体の偽陽性割合を制御するFDR制御という異なるアプローチも好まれます。
注意点
ボンフェローニ補正は非常に保守的な手法であるため、検定回数が増加すると基準が厳しくなりすぎ、本来検出されるべき真の差を見落とすリスクが増加する限界があります。そのため、検定回数が数百や数千に及ぶ大規模な実験や機械学習の網羅的な評価では、検出力が極端に低下する点に注意が必要です。