多重比較とは、3つ以上のグループ間や複数の変数間で統計的検定を同時に多数行うことを指します。AIや機械学習のモデル評価において、何もしないままだと偶然による誤った発見が増えるため、適切な補正を行うことが重要です。
多重比較とは
一言でいうと多重比較とは、複数の仮説を同時に検定する際、偶然によって誤った結果が導かれる確率が高くなる問題を指します。
詳しく解説
機械学習において、複数のアルゴリズムの性能を比較したり、多数の特徴量の中から有用なものを選別したりする際、何回も統計的検定を繰り返すことがあります。通常の検定では有意水準（例えば5%）を設定しますが、比較の回数が増えるにつれて、少なくとも1回は誤って有意差があると判定してしまう確率（第一種の過誤）が跳ね上がります。この問題に対処するため、ボンフェローニ補正などの多重比較法を用いて、統計的有意性の基準を厳しく調整する必要があります。
具体例・使われ方
5つの異なるAIモデルの精度を比較するため、すべての組み合わせで平均精度の差をt検定で次々に検証するケース。また、遺伝子解析や高次元データを用いた機械学習において、数万個の特徴量の中から目的変数と相関のあるものを探索するケースなどが挙げられます。
似た用語との違い
通常の単一の仮説検定（A/Bテストなどで2つのグループを比較する場合など）と異なり、多重比較では多数のペアや条件を同時に評価するため、偽陽性を防ぐための専用の補正手法が必須となります。
注意点
多重比較による補正を行わないまま多数の検定を繰り返すと、実際には効果がないものに対しても偶然有意差が出やすくなり、偽の発見を量産する原因になります。一方で、補正を厳しくしすぎると、本当に意味のある違いを見逃してしまう（第二種の過誤が増える）というトレードオフにも注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月20日 03:00