正規方程式とは、線形回帰において残差平方和を最小化するパラメータを解析的に直接求めるための方程式です。反復計算を繰り返すことなく、行列演算の公式を用いて一度の計算で厳密な最適解を導出できる手法として知られています。
正規方程式とは
正規方程式は、線形回帰モデルにおいて目的変数の予測誤差（残差）を最小にする最適な重みパラメータを、反復処理を行わずに一撃で計算する解析的な解法です。
詳しく解説
機械学習における線形回帰では、予測値と正解値の差の二乗和である残差平方和（損失関数）を最小化することが目的となります。この損失関数の勾配（各パラメータに関する偏微分）がゼロになる条件を行列演算の形式で整理したものが正規方程式です。特徴量行列をX、目的変数ベクトルをyとすると、最適パラメータθは (X^T X)^(-1) X^T y という式で直接導出できます。学習率の設定や反復的な更新ステップが不要であり、大域的最適解を厳密に求められる利点があります。
具体例・使われ方
例えば、住宅の広さや築年数から価格を予測する単純な回帰問題で利用されます。特徴量の数が数十から数百程度と小規模なデータセットであれば、手動でのハイパーパラメータ調整を行わずに、ライブラリ内部の行列計算だけで即座に最適な回帰係数を算出できます。
似た用語との違い
正規方程式と勾配降下法の違いは解の求め方にあります。勾配降下法は初期値からパラメータを徐々に更新していく反復法であり、大規模データやディープラーニングに適しています。一方、正規方程式は解析解を一度の行列計算で算出する手法であり、反復計算や学習率の調整が不要な反面、逆行列の計算負荷が高いという違いがあります。
注意点
特徴量の数が数万を超えるような高次元データでは、逆行列の計算量が特徴量数の3乗（O(n^3)）に比例して増大するため計算が非常に重くなります。また、特徴量間に強い相関がある多重共線性などが原因で行列が正則でない（逆行列が存在しない）場合は、擬似逆行列を用いるなどの対処が必要です。