局所的極大解とは、数理最適化や機械学習において、ある特定の狭い範囲の中で関数の値が最大（スコアが最大）となる状態のことです。全体における真の最大値（大域的極大解）とは限らず、探索の途中でこの状態に陥ると、より優れた最適解に到達できなくなるという課題が存在します。
局所的極大解とは
局所的極大解（ローカルマキシマム）とは、多次元のパラメータ空間や関数において、周辺のわずかな領域（近傍）の中では値が最も高くなっているものの、空間全体で見ると必ずしも最大値ではない状態、またはその地点の解を指します。
詳しく解説
機械学習やディープラーニングのモデルを訓練する際、私たちは誤差を最小化する、あるいは評価指標を最大化する「最適化問題」を解きます。このうち、関数の出力を最大化する問題において、局所的極大解は重要な課題となります。最適化アルゴリズムは、現在の位置から周囲を見渡して、値がより大きくなる方向へとパラメータを更新していきます。しかし、関数の形状が複雑でデコボコしている場合、周囲よりは高いが全体としてはそれほど高くない丘の頂上に到達した時点で、周囲のどの方向に行っても値が減少するため、アルゴリズムはそこを最適解と判断して探索を停止してしまいます。このように、局所的な最適化に囚われる現象をローカルマキシマムに陥ると表現します。
具体例・使われ方
強化学習において、エージェントが目の前の小さな報酬に満足してしまい、長期的な大局に立ったより大きな報酬を得るための最適な行動パターンを学習できなくなる現象が挙げられます。また、山登りに例えると、霧の中で一歩進むごとに標高が高くなる方向にだけ進んだ結果、エベレストのような最高峰である大域的極大解ではなく、手前にある小さな丘の頂上である局所的極大解に到達してしまい、それ以上登れなくなる状態に似ています。
似た用語との違い
局所的極大解と大域的極大解の違いは、その最適性が限定された一部の範囲で成り立つのか、それとも定義域全体のすべての範囲で成り立つのかという点です。また、これらは関数の値を最大化する問題で使われる用語ですが、ディープラーニングの誤差逆伝播法などで損失を最小化する問題においては、これらと上下が逆転した「局所的極小解」や大域的極小解という用語が使われます。数学的な性質や発生する課題は共通しています。
注意点
局所的極大解に囚われるのを防ぐために、ニューラルネットワークの訓練では確率的勾配降下法や、学習率を調整するスケジューラ、あるいは強化学習における探索と利用のトレードオフを調整する手法が用いられます。また、高次元のパラメータ空間を持つ近代的なディープラーニングモデルにおいては、局所的極小解よりも、すべての方向で勾配が平坦になる「鞍点」の方がより深刻な課題になりやすいという研究結果もあります。