データの標本に基づいて、ある仮説が統計的に正しいかどうかを客観的に判定する推測統計の手法です。データ分析やA/Bテスト、機械学習のモデル評価において、得られた効果や違いが単なる偶然によるものか、それとも統計的有意性を持つ本質的な差かを判断するために用いられます。意思決定の根拠として重要な役割を果たします。
仮説検定とは
仮説検定とは、集めたデータから「偶然起きたことなのか、意味のある差なのか」を確率に基づいて客観的に判断する統計学的手法です。
詳しく解説
仮説検定の基本的な仕組みは、まず否定したい立場である「帰無仮説」と、証明したい主張である「対立仮説」を設定することから始まります。次に、収集した標本データから統計量を計算し、帰無仮説が正しいと仮定したときにそのデータが得られる確率（p値）を算出します。このp値が、あらかじめ設定した有意水準より小さければ、帰無仮説を棄却して対立仮説を採択し、データに「統計的有意性」があると結論付けます。データ分析や機械学習の現場では、モデル更新前後の性能比較や特徴量の重要性評価などで広く使用されており、偶然の誤解に基づく誤った意思決定を防ぐために不可欠な基礎技術です。
具体例・使われ方
WEBサイトの改善を図るA/Bテストにおいて、デザインAとデザインBのクリック率の差が偶然ではなく意味のある違いか判断する際に利用されます。また、医療分野での新薬の効果検証や、機械学習アルゴリズムの性能比較テストにおいても、改善効果が偶然の偏りではないことを実証するために使われます。
似た用語との違い
「推定」がデータから母集団のパラメータの値を具体的に予測する手法であるのに対し、仮説検定は二つのグループに差があるかといった問いに対して二者択一で結論を出す点に違いがあります。また、仮説検定を実施する具体的な分析手法としてA/Bテストが挙げられますが、A/Bテストはビジネスにおける比較実験の枠組み全体を指す言葉です。
注意点
p値が小さいことは効果の大きさを直接意味するわけではなく、サンプルサイズが極めて大きい場合はごくわずかな差でも統計的に有意と判定されてしまう点に注意が必要です。また、多数の検定を繰り返すと偶然の有意差が出やすくなる多重性の問題や、帰無仮説を棄却できなかった場合に主張が正しいと証明されたわけではない点も正しく理解する必要があります。