分散とは、データの値が平均値からどれくらい散らばっているかを表す統計指標です。機械学習では、データのばらつき度合いやモデルの複雑さを評価するために不可欠な概念です。分散が大きいモデルは訓練データに過剰に適合しやすく過学習を引き起こす原因となるため、モデルの予測精度や汎用性を向上させる設計で非常に重要な指標となります。
分散とは
分散とは、データ群の個々の値が平均値からどの程度離れて散らばっているかを数値化した指標です。
詳しく解説
分散は各データの値と平均値の差を二乗し、その平均をとることで算出されます。二乗することによって、平均より小さい値による負の差分を正の値に変換し、ばらつきの大きさを正しく評価できます。機械学習において分散は、モデルの挙動やデータの性質を理解する上で非常に重要です。例えば、機械学習モデルの予測誤差はバイアスと分散に分解できます。分散が大きいモデルは、入力データの些細な変化に対して予測結果が大きく変動し、訓練データに過度に適応してしまう過学習の状態に陥りやすくなります。また、データの分散を分析することで、不要な特徴量の削減や次元削減を行う主成分分析などの前処理技術にも活用されます。
具体例・使われ方
AIの学習において、特定の訓練データに対して高精度な予測を出すものの、未知のテストデータでは精度が極端に落ちる場合、そのモデルは分散が高い状態と言えます。また、データ前処理における正規化や標準化の段階で、特徴量ごとの分散を揃える操作を行うことで、機械学習モデルの学習を安定させることができます。
似た用語との違い
分散と混同されやすい概念に標準偏差があります。標準偏差は分散の平方根をとった値であり、元のデータと同じ単位でばらつきを表すことができる点で異なります。また、モデルの予測誤差に関するバイアスとの違いとして、バイアスは予測の平均的なズレ（偏り）を表すのに対し、分散は予測結果自体のばらつき（変動の大きさ）を表します。
注意点
分散は値を二乗して計算するため、外れ値が存在すると数値が過大に影響を受ける点に注意が必要です。外れ値を含むデータセットでは、データの実際のばらつきを正しく反映できない場合があります。また、モデルの分散を低く抑えようとしすぎると、今度はモデルが単純化してバイアスが高くなり、未学習を起こすリスクが生じるためバランスが重要です。