偏微分とは、複数の変数を持つ多変数関数において、特定の1つの変数のみを変化させ、他の変数を定数とみなして微分することです。機械学習においては、モデルの予測誤差を示す損失関数を最小化するために、各パラメータが誤差に与える影響度を計算する手法として不可欠であり、ニューラルネットワークの学習を支えています。
偏微分とは
偏微分とは、複数の入力変数を持つ関数において、注目する1つの変数だけに焦点を当て、他の変数をすべて固定（定数として処理）した状態で微分（変化率を計算）する数学的手法です。
詳しく解説
ニューラルネットワークなどの機械学習モデルは、数百万から数億個以上の膨大なパラメータ（重みやバイアス）を持っています。モデルの学習とは、予測精度を高めるためにこれらのパラメータを最適な値に調整するプロセスです。その指標となるのが損失関数です。損失関数の値を最小化するためには、各パラメータをどの方向にどれだけ調整すればよいかを知る必要があります。ここで偏微分が活躍します。ある1つのパラメータ以外の変数をすべて固定し、そのパラメータをわずかに動かしたときに損失関数がどう変化するかを求めることで、パラメータごとの傾き（勾配）を算出します。このすべてのパラメータに対する偏微分をまとめたベクトルを「勾配」と呼びます。
具体例・使われ方
AI分野での代表的な利用例は、ニューラルネットワークの学習アルゴリズムであるバックプロパゲーション（誤差逆伝播法）です。バックプロパゲーションでは、出力層から入力層に向かって各層のパラメータに関する損失関数の偏微分を鎖のようにつなげて計算（連鎖律）していきます。この計算によって得られた偏微分の値を用いて、勾配降下法などの最適化アルゴリズムがパラメータを更新し、モデルの予測精度を向上させます。
似た用語との違い
常微分との違いが挙げられます。常微分は変数が1つだけの関数に対して行われる微分です。一方、偏微分は変数が複数ある多変数関数に対して、特定の1つの変数以外を定数とみなして行われます。また、すべての変数を同時に微小変化させたときの関数全体の変化を表す全微分とも異なります。AIの文脈では、多次元のパラメータ空間を扱うため、各方向の傾きを個別に求める偏微分が基本単位として多用されます。
注意点
偏微分はあくまで「他の変数を固定したときの局所的な変化率」を示すため、変数の間に強い相互作用がある場合、単純に個別の偏微分値だけでパラメータを最適化しようとすると、局所最適解に陥るリスクがあります。また、関数の形が複雑で不連続な箇所がある場合や、勾配消失問題のように偏微分の値が極端に小さくなってしまう場合には、適切な学習が進まなくなるため、活性化関数の選択や初期化手法の工夫が必要です。