不偏分散とは、標本データから母集団の分散を推測する際に、偏りを取り除くように計算された統計量です。通常の分散計算では母集団の平均値の代わりに標本の平均値を使うことで過小評価が生じるため、自由度で割ることで補正を行います。機械学習の前処理や統計的推定において基本となる重要な概念です。
不偏分散とは
一言でいうと不偏分散とは、標本データを使って母集団の分散を過不足なく推測するための、自由度を考慮した分散の計算方法です。
詳しく解説
統計学において、母集団全体から一部のデータを抜き出したものを標本と呼びます。この標本から母集団の分散を計算する際、データの平均値として「標本平均」を使用します。実は、母集団の真の平均値ではなく標本平均からの偏差平方和を求めると、分散が本来の母集団の分散よりも小さく見積もられてしまうという性質（偏り）があります。この過小評価を解消するため、データの個数「n」ではなく「n-1（自由度）」で割ることで、期待値が母集団の分散と一致するように補正したものが不偏分散です。機械学習モデルの構築において、特徴量のスケーリングやモデルの統計的評価を行う際の基礎となります。
具体例・使われ方
AIや機械学習の文脈では、収集したデータセットのばらつきを正しく評価するために不偏分散が利用されます。例えば、センサーから得られた時系列データの品質管理や、多数の顧客行動ログから母集団の傾向を統計的に推測する際、標本分散のままだと見積もりに誤差が生じるため不偏分散へ変換して分析を行います。
似た用語との違い
不偏分散と混同されやすい概念に「標本分散」があります。標本分散は、得られた標本データ自体のばらつきを単純に計算するものであり、分母をデータの個数「n」で割ります。一方、不偏分散は標本をもとに未知の母集団の分散を推測することが目的であるため、分母を「n-1」で割ります。また、不偏分散の平方根をとったものは「不偏標準偏差」と呼ばれますが、これは必ずしも母集団の標準偏差の不偏推定量ではない点に注意が必要です。
注意点
不偏分散は期待値の観点で偏りがない推定量ですが、必ずしも平均二乗誤差が最小になるわけではありません。また、データ数が非常に多い場合には「n」で割っても「n-1」で割っても結果の差はごくわずかになりますが、サンプルサイズが小さい場合は分母の違いが推定値に大きく影響するため適切な使い分けが求められます。