特異行列とは、行列式がゼロであり逆行列が存在しない正方行列のことです。機械学習や統計学において、データの多重共線性や次元の重複が存在すると特異行列が発生し、通常の線形回帰などでのパラメータ最適化が不可能になる場合があります。これを回避するためには、正規化や擬似逆行列の活用、あるいは次元削減などの手法が用いられます。
特異行列とは
特異行列とは、数学の線形代数における概念であり、逆行列を持たない正方行列のことを指します。一言でいうと「計算によって元に戻す操作（逆変換）ができない行列」です。
詳しく解説
正方行列における行列式がゼロになる場合、その行列は特異行列と呼ばれます。行列はデータを多次元空間上で変換する操作を表しますが、特異行列による変換は空間の次元を押し潰してしまうため、潰れた情報を元の状態に復元することができません。これが逆行列が存在しない理由です。機械学習の分野では、重みパラメータを解析的に求める最小二乗法などの計算処理において、入力データの相関が極めて高い場合に途中の計算行列が特異行列になり、解を一意に算出できなくなる問題を引き起こします。この現象はデータの冗長性や情報不足が主な原因となります。
具体例・使われ方
例えば、機械学習で線形回帰モデルを構築する際、入力特徴量の中に「身長（cm）」と「身長（m）」のように完全に比例関係にある2つのデータが含まれていると、データ行列の相関が1となり特異行列が生じます。また、画像の全ピクセル値がすべて同じ値であるような情報量の少ないデータセットを処理する際にも特異行列が発生し、数値計算ライブラリでエラーが吐き出される原因となります。
似た用語との違い
特異行列と非特異行列の違いは、逆行列が存在するかどうかです。非特異行列は行列式がゼロ以外の値となり、一意の逆行列を持ちます。また、正則行列は非特異行列と同義の用語であり、特異行列の対義語にあたります。さらに、特異行列のように逆行列が存在しない行列に対しても、一般化された逆行列として適用できるのが擬似逆行列であり、特異行列による計算エラーを回避する手段として区別して利用されます。
注意点
機械学習の現場において特異行列が発生すると、プログラムが数値計算エラーを出力して停止するか、計算結果が極端に不安定になるリスクがあります。これを防ぐには、事前にデータの多重共線性を確認して重複する特徴量を削除することや、Ridge回帰などの正規化手法を取り入れることが重要です。また、完全に特異行列にならなくても、行列式が極めてゼロに近い「病的な状態（悪条件）」では数値的に不安定になるため注意が必要です。