有意差検定とは、データ間に見られる差異が「偶然によるもの」か、それとも「統計的に意味のある本質的な違い」かを確率的に判断するための統計的手法です。AIモデルの性能評価やA/Bテストにおいて、新旧モデルの予測精度やユーザーの反応に本質的な差があるかどうかを科学的に検証する際に極めて重要な役割を果たします。
有意差検定とは
有意差検定とは、得られたデータ群の間に存在する差異が、単なる確率的なブレ（偶然）によって生じたものなのか、それとも背景にある構造的な要因（必然）によるものなのかを判定するための統計的検証手法です。一般的に、差がないと仮定する「帰無仮説」を設定し、その仮説が成り立つ確率（p値）を算出することで、あらかじめ設定した「有意水準」を下回る場合に『有意な差がある』と判断します。
詳しく解説
機械学習モデルを構築・改善するプロセスにおいて、モデルAとモデルBの精度にわずかな差が生じたとき、それがデータの偏りによる偶然の産物なのか、それともモデルのアルゴリズム改善による本質的な向上なのかを評価する必要があります。有意差検定はこの判断を客観的に行う仕組みを提供します。手順としては、まず『2つのモデル性能に差はない』という帰無仮説を立てます。次に、収集したデータから統計量を計算し、この帰無仮説のもとでそのデータが得られる確率であるp値を求めます。このp値が、事前に決めた基準（有意水準：一般的には5%や1%）より小さければ、帰無仮説を棄却し、2つのモデル間には『統計的に有意な差がある』と結論付けます。
具体例・使われ方
代表的な利用例として、WebサービスのUI改善などを検証するA/Bテストが挙げられます。従来のアルゴリズムを適用したコントロール群と、新しい機械学習モデルを搭載したレコメンドエンジンを適用したテスト群において、クリック率（CTR）や購買率に差が生じた際、それが偶然ではないことを確認するために有意差検定を行います。また、新しい機械学習モデルを本番環境へ導入する前のオフライン評価において、既存モデルに対する予測精度の向上が統計的に信頼できるものであるかを検証する際にも用いられます。
似た用語との違い
混同されやすい概念に「効果量（エフェクトサイズ）」があります。有意差検定は「差が偶然ではないか」という確率的な確からしさを判定するのに対し、効果量は「その差が実務的にどれほど大きいか」という具体的なインパクトの大きさを表します。また、パラメータの真の値を一定の確率で挟み込む範囲を示す「信頼区間」とも異なります。有意差検定は二者択一的な判断（有意か否か）を下すのに対し、信頼区間は効果のばらつきをより視覚的・定量的に捉えることができます。
注意点
有意差検定における最大の注意点は、p値が「効果の大きさ」や「モデルの重要性」を直接示すわけではないという点です。サンプルサイズ（データ数）が極めて大きい場合、実務的には無視できるほど極めて微小な差であっても「統計的に有意」と判定されてしまいます。逆に、サンプルサイズが小さいと、実際には大きな性能差があっても「有意差なし」と判定されることがあります。したがって、p値だけでなく、効果量や信頼区間もあわせて総合的に評価することが不可欠です。