局所最適解とは、最適化問題において特定の狭い範囲内では最も良い解（極小値や極大値）であるものの、問題全体における最善の解（全域最適解）ではない状態やその解のことです。機械学習のモデル訓練では、勾配降下法などで損失関数を最小化する際に局所最適解に陥り、学習が途中で停滞してしまう課題が知られています。
局所最適解とは
局所最適解とは、データのパラメータを探索する際、特定の近傍範囲内では最適であるものの、全体としては必ずしも最善ではない解のことです。
詳しく解説
機械学習や深層学習では、モデルの予測誤差を表す損失関数を最小化することで最適なパラメータを探索します。このパラメータ探索の過程において、勾配降下法などの最適化アルゴリズムが用いられます。しかし、複雑な損失関数の形状（損失曲面）には多くの凹凸が存在します。探索の過程で傾きがゼロになる谷底に到達すると、アルゴリズムはその場所を最適だと判断してパラメータの更新を停止してしまいます。これが局所最適解です。局所最適解にとらわれると、モデルの性能が十分に向上しない問題が生じます。この対策として、モーメンタム付きの最適化手法や、確率的勾配降下法（SGD）、適切なハイパーパラメータの調整などが使用されます。
具体例・使われ方
登山者が霧の中で最も標高が高い山頂を目指している場面をイメージできます。目の前の小高い丘の頂上に到達すると、周囲のどこに移動しても標高が下がるため、そこが最も高い場所だと誤認して止まってしまう状態が局所最適解です。実際の最高峰（全域最適解）は別の場所にあるにもかかわらず、局所的な情報だけではそこに到達できません。AI開発においても、画像認識モデルの学習時に損失関数が途中の小さな谷に入り込み、精度が向上しなくなる現象として発生します。
似た用語との違い
局所最適解と混同されやすい概念として全域最適解と鞍点があります。全域最適解は探索空間全体の中で真に最も優れている解のことです。これに対し局所最適解は特定エリア内のみでの最善解に過ぎません。また、鞍点は特定の方向からは極小値に見え、別の方向からは極大値に見える傾きゼロの地点であり、谷底である局所最適解とは数学的に異なる性質を持ちます。
注意点
深層学習のような高次元のパラメータ空間では、単なる局所最適解よりも鞍点や平坦な領域が学習を阻害する主な要因になるという指摘もあります。また、得られた解が局所最適解であっても、実用上十分な精度が出ている場合は必ずしも全域最適解に到達する必要がない場合もあります。過剰に全域最適解を追求すると、計算コストが増大したり過学習を引き起こしたりするため注意が必要です。