有意水準とは、統計的仮説検定において、偶然では説明できない差や効果があるとみなす基準となる確率のことです。一般的にα（アルファ）で表され、AIのモデル評価やA/Bテストにおける誤った判断を防ぐために重要な役割を果たします。
有意水準とは
一言でいうと有意水準とは、「偶然起きたこと」と「意味のある発見」を切り分けるための判定ラインのことです。
詳しく解説
統計的仮説検定では、データに表れた差が「たまたま生じたもの（帰無仮説が正しい状態）」である確率を計算します。この確率が非常に低い場合に、帰無仮説を棄却して「意味がある（対立仮説が正しい）」と判断します。この判断の境界線となる確率が有意水準です。一般的には5%（0.05）や1%（0.01）が設定されることが多く、AIモデルの性能評価や機械学習における特徴量の有効性検証、ビジネスにおけるA/Bテストなどで広く活用されています。例えば、有意水準を5%に設定した場合、データ分析の結果得られたp値が0.05未満であれば、その結果は「統計的に有意である」とみなされます。
具体例・使われ方
AIモデルの改善において、新しいアルゴリズムAと従来のアルゴリズムBの精度を比較する場面を想定します。テストデータを基に性能差を統計的仮説検定で検証し、得られたp値が有意水準である0.05を下回っていれば、アルゴリズムAの性能向上が「偶然ではなく確実な効果である」と判断できます。また、ウェブサービスのA/Bテストでクリック率の差を評価する際にも使われます。
似た用語との違い
混同されやすい概念としてp値があります。有意水準は研究者や分析者が「どこを境界線にするか」を事前に決める基準値であるのに対し、p値は得られたデータから実際に計算される確率そのものです。p値が有意水準を下回っているかどうかで判定を下します。
注意点
有意水準を厳しく設定しすぎると、本当は意味のある効果を見逃してしまうリスク（第2種の過誤）が高まります。逆に甘く設定すると、偶然の結果を意味があると誤認するリスク（第1種の過誤）が増加します。また、p値が有意水準を下回っているからといって、ビジネスやAIモデルにとって実用的な価値が大きいとは限らない点にも注意が必要です。