ヤコビ行列は多変数関数の1階偏微分を並べた行列であり、AI分野ではニューラルネットワークの誤差逆伝播法における勾配計算や、ロボティクスの順運動学、最適化問題などにおいて複雑な非線形システムの挙動を局所的に線形化するために広く利用されています。
ヤコビ行列とは
一言でいうと、ヤコビ行列とは「複数の入力変化に対して複数の出力がどのように変化するかを、偏微分を用いて局所的に表した行列」のことです。
詳しく解説
ヤコビ行列は、多変数ベクトル値関数の各成分を各変数で偏微分した導関数を並べたものです。機械学習や深層学習においては、多層パーセプトロンやニューラルネットワークのパラメータ最適化を行う際、誤差逆伝播法を通じて活性化関数の微小な変化を出力層から入力層へ伝搬させるための基礎理論として機能します。特に、複雑な非線形方程式を扱う際にその周辺のごく小さな範囲で線形近似を行うため、勾配降下法などの最適化アルゴリズムにおいて重要な役割を果たします。
具体例・使われ方
具体的な利用例として、深層学習におけるニューラルネットワークの訓練が挙げられます。損失関数を最小化するために重みパラメータを更新する際、ヤコビ行列（またはそれに準ずる勾配ベクトル）を用いて各層の誤差感度を計算します。また、ロボティクスAIの分野では、ロボットアームの関節角度（入力）と先端の位置・姿勢（出力）の関係を計算する順運動学や逆運動学の制御において、ヤコビ行列が位置の変化速度と関節速度を結びつけるために活用されます。
似た用語との違い
ヘッシアン（ヘッセ行列）と混同されやすいですが、ヤコビ行列が1階偏微分を並べたものであるのに対し、ヘッシアンは2階偏微分を並べた正方行列です。ヤコビ行列は1階の感度分析や一次近似に使われ、ヘッシアンは曲率や極値の判定、より高度な最適化手法であるニュートン法などで使われます。
注意点
ヤコビ行列はあくまで局所的な線形近似であるため、関数の変化が激しい非線形領域では大きな誤差が生じる点に注意が必要です。また、高次元のデータや巨大なニューラルネットワークを扱う場合、ヤコビ行列を直接計算して保持することはメモリと計算量の観点から非現実的であるため、実際の計算ではヤコビ行列そのものではなく、ベクトルとの積を効率的に求める工夫や勾配降下法などの近似手法が用いられます。