非凸最適化とは、目的関数に複数の極小値（ローカルミニマ）や鞍点が存在し、大域的な最適解を見つけることが困難な最適化問題のことです。ディープラーニングにおけるニューラルネットワークの学習は代表的な非凸最適化問題であり、局所最適解に陥るリスクを回避しながら最適なパラメータを探索するために、様々な最適化アルゴリズムや初期化手法が考案されています。
非凸最適化とは
一言でいうと、関数の中に谷（極小値）が複数存在するため、最も深い谷（大域的最適解）を見つけることが非常に難しい最適化問題のことです。
詳しく解説
非凸最適化は、数理最適化において目的関数や制約条件が「凸（凸関数または凸集合）」ではない問題を指します。凸最適化問題では、局所的な最適解（局所最適解）がそのまま全体としての最適解（大域的最適解）になるため、比較的容易に解が得られます。しかし、非凸最適化では関数の形状が複雑に入り組んでおり、多数の局所最適解や、傾きがゼロになるものの極小でも極大でもない「鞍点（サドルポイント）」が存在します。AI分野におけるディープラーニングのモデルは、極めて高次元なパラメータを持つ巨大なニューラルネットワークであるため、その損失関数の最小化は必然的に非凸最適化問題となります。これに対処するため、確率的勾配降下法や、モメンタム、Adamといった洗練された最適化アルゴリズム、適切な重みの初期化、バッチ正規化などの技術が不可欠となっています。
具体例・使われ方
具体的な例として、ディープラーニングを用いた画像認識モデルや自然言語処理モデルの学習プロセスが挙げられます。何百万、何億ものパラメータ（重みとバイアス）を調整して、誤差を最小化する計算は、地形に例えると無数の山や谷、平地（プラトー）が広がる広大な土地で最も低い地点を探す旅のようなものです。単純な勾配降下法では近くの小さな谷（局所最適解）に留まってしまいますが、確率的勾配降下法やAdamなどの動的な学習率調整を用いることで、より深い谷（より優れた大域的最適解に近い解）へと探索を進めることができます。
似た用語との違い
混同されやすい概念に凸最適化があります。凸最適化は、目的関数が「下にとつ」の滑らかなボウル状になっており、任意の局所最適解が常に大域的最適解となるため、数学的に大域的最適解の発見が保証されます（線形計画問題やサポートベクターマシンなどが該当します）。一方、非凸最適化は、局所最適解が複数存在するため、探索の出発点（初期値）によって得られる結果が異なり、大域的最適解の発見が理論的に保証されません。
注意点
非凸最適化においては、「絶対に最も優れた最適解（大域的最適解）に到達できるとは限らない」という限界があります。多くの実用的なディープラーニングの場面では、厳密な大域的最適解ではなく、性能的に十分に実用可能な「妥協点としての局所最適解」で学習を終了します。また、パラメータの初期値に結果が強く依存するため、シード値の変更によってモデルの再現性が失われること（初期値依存性）に注意が必要です。さらに、鞍点に捉えられて学習が停滞するリスクも常に存在します。