p値とは、統計的検定において帰無仮説が正しいと仮定したとき、観測されたデータと同等以上の極端な結果が得られる確率のことです。AIや機械学習のモデル評価や特徴量選択の際、効果や差が偶然によるものではないかを判断する指標として活用されます。
p値とは
一言でいうと、p値とは「偶然起きた確率」を示す指標であり、数値が低いほどその結果が偶然ではない（意味がある）可能性が高いと判断されます。
詳しく解説
p値（確率値）は、統計的仮説検定において用いられる数値です。AI開発やデータ分析の前段階である特徴量選択や、機械学習モデルの実験結果の評価において、得られた効果や相関関係が偶然によるものなのか、それとも意味のあるものなのかを検証するために利用されます。一般的に「有意水準（通常は0.05や0.01）」があらかじめ設定され、p値がこの水準を下回る場合、その結果は「統計的に有意である」とみなされます。
具体例・使われ方
例えば、新しい機械学習モデルの精度向上を検証する際、旧モデルと新モデルの予測精度の差に対して統計的検定を行います。このとき算出されたp値が0.01であれば、「この精度の改善が偶然生じた確率は1%未満である」と解釈でき、新モデルの効果が信頼できると判断する根拠になります。
似た用語との違い
機械学習でよく使われる「損失関数」や「評価指標（精度やF値など）」はモデル自体のパフォーマンスを測るものですが、p値は得られた結果やデータが偶然の産物である確率を評価するものであり、目的が異なります。
注意点
p値は「帰無仮説が正しい確率」そのものではなく、「帰無仮説が正しいとした場合に、それ以上に極端なデータが得られる確率」です。また、サンプルサイズが大きすぎると、実質的に意味のない小さな差であってもp値が小さく（有意に）なってしまう点や、p値を過剰に重視するハッキング（p-hacking）と呼ばれる不正なデータ操作が行われるリスクに注意が必要です。