局所的最小値とは、機械学習やディープラーニングのモデル学習において、広範囲ではなく周辺の一帯の中で最も損失関数の値が小さくなる点のことを指します。全体の最適解である大域的最小値とは異なり、ここで学習が停滞するとモデルの精度向上が頭打ちになる課題を持ちます。
局所的最小値とは
局所的最小値とは、最適化問題において、ある限られた領域内で最も値が小さくなる点のことです。機械学習では、誤差や損失を最小化するパラメータを探す過程でこの状態に陥ることがあります。
詳しく解説
機械学習モデルの訓練では、勾配降下法などの最適化アルゴリズムを用いて損失関数の値を最小化します。このとき、山を降りるようにパラメータを調整していきますが、周囲よりも低い窪地に行き当たると、そこからさらに進むと一時的に値が増加するため、アルゴリズムが進行方向を見失うことがあります。これが局所的最小値です。ディープラーニングのモデルでは高次元の複雑な誤差曲面が形成されるため、多くの局所的最小値やサドルポイントが存在することが知られており、効率的な学習を進める上で重要な研究対象となっています。
具体例・使われ方
例えば、ニューラルネットワークの重みパラメータを最適化する際、損失関数が 0.5 の局所的最小値にハマってしまい、本来到達できるはずの損失関数 0.1 の最適解（大域的最小値）にたどり着けないケースが挙げられます。これを回避するために確率的勾配降下法やモメンタムなどの手法が利用されます。
似た用語との違い
大域的最小値との違いとして、大域的最小値が「取りうる領域全体の中で絶対的に最も低い点」であるのに対し、局所的最小値は「あくまでその周辺において最も低い点」という点が挙げられます。また、勾配がゼロになるが最小値ではないサドルポイントとも区別されます。
注意点
すべての窪地が悪いわけではなく、現代の大規模なディープラーニングにおいては、多くの局所的最小値が十分な低さの損失を持っており、実用上は問題なく機能する場合も多い点に注意が必要です。過度に局所的最小値を恐れるよりも、過学習や汎化性能の低下を防ぐことの方が重要になる場面もあります。