ヘッセ行列とは、多変数関数のすべての2階偏微分を要素として持つ行列です。機械学習においては、損失関数の局所的な曲率（曲がり具合）を把握するために使用されます。最適化における鞍点の判別やニュートン法などの高速な学習アルゴリズムに役立つ一方で、大規模なモデルでは計算コストが高いため近似手法が広く用いられます。
ヘッセ行列とは
ヘッセ行列とは、多変数関数におけるすべての2階偏微分を並べた行列のことです。機械学習や深層学習においては、損失関数の局所的な曲がり具合（曲率）を表す指標として用いられ、最適化アルゴリズムの挙動解析や効率的なパラメータ更新に重要な役割を果たします。
詳しく解説
機械学習の目的は、モデルの予測誤差を示す損失関数を最小化することです。関数の傾きを示す1階偏微分を集めたものを勾配ベクトルと呼びますが、これだけでは関数の曲がり具合までは分かりません。ヘッセ行列は、すべてのパラメータペアに対する2階偏微分を要素として持ち、関数の凹凸や局所的な構造を数学的に評価できます。例えば、最適化処理で直面する鞍点（ある方向では極小だが別の方向では極大となる点）や極小値の判定に役立ちます。また、ヘッセ行列を利用するニュートン法などの2次最適化手法は、通常の勾配降下法よりも高速に収束する特性を持っています。
具体例・使われ方
機械学習モデルの学習において、複雑な損失関数の地形を分析する場面で用いられます。例えば、勾配降下法で学習が停滞しやすい鞍点を検出したり、パラメータの感度を分析してモデルを軽量化する枝刈り技術の評価基準として活用されたりします。
似た用語との違い
ヘッセ行列と混同されやすいものにヤコビ行列があります。ヤコビ行列は多変数のベクトル値関数における1階偏微分を並べた行列であり、関数の傾きを表します。これに対し、ヘッセ行列はスカラ関数（損失関数など）の2階偏微分を並べた行列であり、曲率を表す点が異なります。また、1階偏微分をまとめたベクトルである勾配ベクトルとも階数の違いがあります。
注意点
ヘッセ行列は非常に高い計算コストとメモリ消費量を伴う点に注意が必要です。パラメータ数が巨大な現代の深層学習では、ヘッセ行列を直接計算・保持することは現実的ではありません。そのため、実際のAIモデル開発ではヘッセ行列を直接使わず、近似的に計算する手法や1階偏微分のみを用いる最適化手法が一般的に利用されています。