分散共分散行列とは、複数の確率変数間のばらつきや、変数同士の線形な関係性の強さをひとまとめにして表す正方行列です。機械学習の前処理や主成分分析などの次元削減、多変量正規分布の定義において中心的な役割を果たします。
分散共分散行列とは
分散共分散行列とは、複数の変数がそれぞれどの程度散らばっているか（分散）と、変数同士がどのように連動して変化するか（共分散）を整理した数表（行列）のことです。
詳しく解説
多次元のデータを取り扱う際、それぞれの変数単体のばらつきだけでなく、変数間の関係性を把握することが重要です。分散共分散行列の対角成分には各変数の分散が並び、非対角成分には2変数間の共分散が配置されます。この行列は必ず対称行列となり、機械学習においてはデータの相関構造を捉えるための基礎となります。例えば、主成分分析ではこの行列の固有値と固有ベクトルを計算することで、データの情報を損なわずに次元を圧縮する軸を見つけ出します。
具体例・使われ方
AIやデータ分析の現場では、顧客の年齢、年収、購買頻度といった複数の特徴量を同時に扱う際に利用されます。また、多変量正規分布に従う確率モデルのパラメータとしても頻繁に登場し、生成モデルや異常検知アルゴリズムの確率計算において、データの広がり方を指定するために使われます。
似た用語との違い
単一の変数のみを扱う場合は、通常の分散や標準偏差が用いられます。これに対し、分散共分散行列は3つ以上の多数の変数を同時に扱い、変数間の関係性まで網羅して表現する点が異なります。また、相関行列は共分散を各変数の標準偏差で割って規格化したものですが、分散共分散行列は元のデータのスケールや単位をそのまま保持している点が特徴です。
注意点
分散共分散行列はデータの線形な関係性を捉えるのに優れていますが、非線形な関係や複雑なパターンの検出には不向きです。また、データの次元数がサンプル数よりも大きい場合や、変数間に強い多重共線性がある場合には、行列が正則にならず逆行列が計算できなくなるため、正則化などの適切な対処が必要となります。