効果量とは、AIモデルの予測精度や実験における介入効果の「大きさ」や「実用的な意味での影響力」を示す統計学的な指標です。サンプルサイズの影響を受けにくいため、データ分析や機械学習の評価において重要な役割を果たします。
効果量とは
効果量とは、一言でいうと「データ間の差や関連性の大きさを、サンプルサイズに依存せずに数値化したもの」です。
詳しく解説
統計学的仮説検定では、データ数（サンプルサイズ）が十分に大きければ、実用的な意味がないほどわずかな差であっても「統計的に有意」と判定されてしまいます。これに対し、効果量は「その差がどれほど実質的な意味を持つのか」を測るために用いられます。機械学習やデータ分析の分野では、モデルの予測精度向上や施策の効果測定において、p値（有意確率）だけに頼らず効果量をあわせて確認することで、過剰な解釈を防ぎ、モデル評価の信頼性を高めることができます。
具体例・使われ方
例えば、ある自然言語処理モデルの改良前後で、タスクの正解率の差を評価する場面を想定します。データ件数が数百万件ある場合、わずか0.01%の精度向上でもp値は小さくなり有意差が出ます。しかし、効果量を算出することで、その精度向上が実務上どれほどのインパクトを持つかを定量的に評価し、モデルの採用判断に役立てることができます。
似た用語との違い
p値（有意確率）が「偶然ではないと言えるか（確率的な確信度）」を測るものであるのに対し、効果量は「差や関係性の大きさ（実質的なインパクト）」を測るものであるという違いがあります。
注意点
効果量の大きさの解釈（大きい、小さいなど）は分野や文脈によって異なるため、絶対的な基準だけで判断しないように注意する必要があります。また、データの前処理方法や外れ値の影響によって効果量の値が変動する場合があるため、機械学習モデルの評価ではデータの特性を十分に考慮することが求められます。