最適化問題機械学習

局所解

きょくしょかい · local minimum
15 views

局所解(ローカルミニマム)とは、機械学習のモデル訓練において、損失関数の値がその周辺の中では最小(最適)であるものの、全体における真の最小値(大域的最適解)ではない状態やその地点を指します。最適化アルゴリズムがこの局所解に陥ると、モデルの学習が途中で停滞し、本来得られるはずの最高精度に達しない原因となります。

局所解とは

局所解とは、数理最適化や機械学習のパラメーター調整において、ある限定された範囲内(局所的)で最も優れた(損失が最も小さい)値をとるものの、全体(大域的)で見ると最も優れた値(最適解)ではない状態のことです。

詳しく解説

ニューラルネットワークの学習では、損失関数(誤差を表す関数)の値を最小化するように、勾配降下法などの最適化アルゴリズムを用いて重みやバイアスのパラメーターを更新します。この損失関数の形状は、高次元で複雑な凹凸を持つことが一般的です。勾配降下法は現在の地点から傾きが下る方向にパラメーターを動かしていくため、すり鉢状の「窪み」に入り込むと、そこが全体の中で最小の地点(大域的最適解)でなくても、周囲よりは低いため傾きがゼロになり、学習が停止してしまいます。ディープラーニングにおいては、局所解だけでなく鞍点なども問題になりますが、適切な初期値設定や確率的勾配降下法(SGD)、Adamなどの高度な最適化アルゴリズムの導入によって、悪い局所解を回避する工夫が行われています。

具体例・使われ方

「霧の立ち込める山の中で、最も標高が低い『海のレベル(大域的最適解)』を目指して下山するハイカー」の例えが有名です。ハイカーは周囲が見えないため、足元の傾斜だけを頼りにひたすら下っていきます。しかし、途中の山腹にある小さな「盆地や窪み(局所解)」にたどり着くと、その場所から周囲を見渡してもすべての方向が登り坂(傾きが正)になるため、そこが最も低い場所だと勘違いして、本来の目的地である山の麓に到達する前に歩みを止めてしまいます。

似た用語との違い

混同されやすい概念に「大域的最適解(グローバルミニマム)」と「鞍点(サドルポイント)」があります。大域的最適解は、探索空間全体のなかで最も損失関数が小さくなる「真の最小値」を指すのに対し、局所解はあくまで「その周辺エリアの中だけで一番小さい値」に過ぎません。また、鞍点は「ある方向から見ると極小(谷)だが、別の方向から見ると極大(山)になっている地点」のことであり、傾きがゼロになる点では局所解と共通していますが、そこからさらに下る道が存在する点が異なります。

注意点

「局所解に陥ることは必ずしも最悪の結果ではない」という点に注意が必要です。ディープラーニングのような超多次元のパラメーター空間においては、厳密な大域的最適解を見つけることは極めて困難です。しかし、多くの局所解であっても十分に実用的な精度(良好な汎化性能)が得られることが分かっています。そのため、計算資源を浪費してまで大域的最適解にこだわりすぎるより、実用的な局所解で十分に妥協することが現実的なアプローチとされています。

更新日時: 2026年9月24日 17:45