局所的最適解とは、機械学習の最適化プロセスにおいて、全体の中での真の最適解ではないものの、その周辺の限られた範囲内では最も優れた状態を指します。AIが学習時にこの状態から抜け出せなくなる現象が課題となります。
局所的最適解とは
局所的最適解とは、探索している限られた範囲内でのみ最も良いとされる解決策のことです。AIや機械学習のモデルが学習する際、エラーを最小化するパラメータを探す過程で、この一時的な「落とし穴」に囚われてしまうことがあります。
詳しく解説
機械学習モデルの訓練は、誤差関数の値を最小化する最適なパラメータを見つける最適化問題として定式化されます。この探索プロセスは、霧の中の山を下りながら最も低い谷底（大域的最適解）を探すようなものです。しかし、勾配降下法などのアルゴリズムは、周囲のどの方向に行っても高くなってしまう小さな谷底に行き着くことがあります。これが局所的最適解です。ディープラーニングなどの複雑なニューラルネットワークでは、高次元の損失関数が数多くの複雑な凹凸を持つため、この問題に対処することがモデルの性能向上において極めて重要となります。
具体例・使われ方
例えば、AIが画像認識の精度を高めるためのパラメータを調整する際、ある特定のパターンに過剰に適応してしまい、それ以上精度の上がらない設定で学習が止まってしまうケースがあります。また、巡回セールスマン問題のような組合せ最適化においても、最善ではないルートの組み合わせで探索が停滞する事例が見られます。
似た用語との違い
大域的最適解との違いとして、大域的最適解は考え得るすべての探索空間の中で真に最も優れた最良の解を意味します。一方、局所的最適解はあくまで局所的な範囲でのベストに過ぎず、全体のベストであるとは限りません。
注意点
局所的最適解に陥る最大の危険性は、AIモデルがそれ以上の性能改善ができなくなり、未知のデータに対する汎化性能が低下することです。勾配降下法を用いる際には、学習率の調整や、確率的勾配降下法（SGD）、モメンタム、さらにアニーリング手法などを活用して、こうした罠から抜け出す工夫が必要となります。