半正定値行列とは、すべての固有値が0以上である対称行列のことです。機械学習や深層学習の最適化問題、共分散行列の計算などにおいて、カーネル法やモデルの安定性を保証するための重要な数学的性質として広く利用されています。
半正定値行列とは
一言でいうと「すべての方向に対して大きさが0以上になる性質を持った、線形代数における特定の正方行列」のことです。
詳しく解説
半正定値行列は、任意の非零ベクトルxに対してxの転置行列と元の行列とxの積が常に0以上になるという性質を持つ対称行列です。機械学習の分野では、データ間の類似度を計算するカーネル法においてカーネル行列が半正定値性を持つことが数学的な前提となります。また、統計的な性質を表す共分散行列や、ニューラルネットワークの損失関数の最適化においてヘッセ行列がこの性質を満たす場合、学習の安定性や収束性の解析に深く関わってきます。
具体例・使われ方
具体的な利用例としては、サポートベクトル機などのカーネル法で用いられるグラム行列の計算が挙げられます。データ間の内積や類似度を定義する際、生成された行列が半正定値行列であれば、有効な特徴空間へのマッピングが存在することが保証されます。また、主成分分析における共分散行列も半正定値行列の典型的な例です。
似た用語との違い
正定値行列との違いとして、正定値行列がすべての固有値が厳密に正（0より大きい）であるのに対し、半正定値行列は0の固有値を含む点が挙げられます。これにより、半正定値行列はより広範なデータ構造や縮退した空間を扱うことができます。
注意点
注意点として、実際の数値計算においては、コンピュータの丸め誤差によって厳密には半正定値であるはずの行列がわずかに負の固有値を持ってしまうことがあります。そのため、機械学習のアルゴリズム実装時には、固有値のクリッピングや正則化項の追加などによる数値安定化の配慮が必要です。