擬似逆行列とは、正方行列でない場合や行列式がゼロで通常の逆行列が存在しない行列に対しても、逆行列に近い性質を持つよう拡張された行列です。機械学習やデータ解析において、連立方程式の最適解を求める際や、特異値分解を用いた最小二乗法の計算などで広く活用されています。
擬似逆行列とは
擬似逆行列は、一言でいうと「通常の逆行列が定義できない縦長・横長の行列や特異な行列に対しても適用できるように拡張された行列」です。
詳しく解説
通常の逆行列は正方行列かつ正則(行列式が非ゼロ)である場合にしか存在しません。しかし、機械学習の線形回帰などで扱うデータ行列は、サンプル数と特徴量数が一致しない非正方行列であることが大半です。この問題を解決するために考案された代表的なものがムーア・ペンローズ型擬似逆行列です。擬似逆行列を計算する際には特異値分解がよく用いられ、ゼロに近い微小な特異値の逆数を適切に処理することで、方程式の解が存在しない場合には残差平方和を最小にする解を、解が無数に存在する場合にはノルムが最小となる解を一意に導き出すことができます。
具体例・使われ方
具体的な利用例としては、重回帰分析におけるパラメータの推定が挙げられます。入力データから目的変数を予測する線形モデルの学習において、最小二乗法を用いて最適な重み係数を一括計算(正規方程式の求解)する際に擬似逆行列が使用されます。また、ロボット工学における逆運動学計算や、画像処理でのノイズ除去・信号復元などにも応用されています。
似た用語との違い
通常の逆行列が「元の行列と掛け合わせると必ず単位行列になる」厳密な逆演算であるのに対し、擬似逆行列は非正方行列に対しても定義され、完全に単位行列にはならないものの射影行列として可能な限り元の状態に近づける働きをします。また、パラメータの過学習を抑える正則化(リッジ回帰など)を施した解法とは異なり、純粋な擬似逆行列は制約なしの最小ノルム最小二乗解を求めます。
注意点
データ行列のサイズが非常に大きい場合、擬似逆行列を直接計算すると計算量やメモリ消費が膨大になるため、勾配降下法などの反復解法が選ばれることがあります。また、データに強い多重共線性がある場合、微小なノイズによって計算結果が不安定になることがあるため、必要に応じて正則化を組み合わせるなどの配慮が求められます。