非凸最適化問題とは、数理最適化において目的関数や制約条件が凸ではない、つまり複数の谷や山が存在する複雑な形状を持つ問題を指します。機械学習、特にディープラーニングのモデル訓練における損失関数の最小化はこの問題に該当し、局所最適解に陥りやすい特性があるため、全局最適解を見つけ出すためのアルゴリズム開発が重要視されています。
非凸最適化問題とは
非凸最適化問題とは、最適化したい関数（目的関数）や探索範囲（制約条件）が「凸（おわん型のように、任意の2点を結ぶ線分が常にグラフの上方または内部にある状態）」ではない数理最適化問題のことです。一言でいうと、「複数のへこみ（谷）や山が存在するため、最も低い地点（最適解）を探すのが非常に難しい問題」です。
詳しく解説
数理最適化において、目的関数が1つの谷しか持たない場合はどこからスタートしても必ず一番深い谷底にたどり着くことができます。しかし、非凸最適化問題では、関数の形状が複雑にうねっており、無数の「浅い谷」や「平らな領域」が存在します。AIや機械学習の分野において、この問題は非常に重要です。例えば、多層ニューラルネットワーク（ディープラーニング）のパラメータ調整（学習）は、極めて高次元かつ複雑な非凸最適化問題となります。このため、単純なアルゴリズムでは途中の浅い谷で探索が止まってしまい、本来の目的である最適なパラメータを見つけることが困難になります。これを解決するために、勾配降下法の発展形である確率的勾配降下法（SGD）など、様々な最適化アルゴリズムが考案され、研究されています。
具体例・使われ方
身近なイメージとして、山岳地帯で最も低い「最深の谷底」を霧の中で探す状況が挙げられます。1つ目の例はディープラーニングの学習で、画像認識や自然言語処理のモデルにおいて、膨大な重みパラメータを調整し、予測誤差（損失関数）を最小化するプロセスです。2つ目はポートフォリオ最適化で、金融分野において、複雑な制約条件のもとで、最適な資産配分を決定する問題です。3つ目はロボットの経路計画で、障害物を避けながら、移動距離やエネルギー消費を最小にする最適なルートを計算する問題です。
似た用語との違い
非凸最適化問題と最も対比されるのが「凸最適化問題」です。凸最適化問題は、関数に谷（極小値）が1つしか存在しないため、どこから探索を始めても必ず唯一の最も深い谷（全局最適解）に到達できるという優れた性質を持ちます。一方、非凸最適化問題では、多数の「局所最適解」（周囲と比較して局所的に最も低い地点）が存在するため、探索のスタート位置やアルゴリズムの挙動によって到達する場所が異なり、真の全局最適解に到達できる保証が原則としてありません。
注意点
非凸最適化問題の解決において最大の誤解は、「常に完璧な全局最適解を見つけなければ実用化できない」という思い込みです。実際のAI開発やディープラーニングにおいては、厳密な全局最適解を見つけることは数学的に極めて困難です。しかし、実務上は、勾配降下法などを用いて得られた十分に誤差の小さい「良好な局所最適解」が得られれば、十分に実用的な性能を発揮することがわかっています。そのため、完璧さを追い求めるあまり計算コストをかけすぎるのではなく、実用的な時間内での妥当な解の探索が重視されます。