凸最適化とは、局所最適解がそのまま大域的最適解になる数学的な最適化問題の枠組みです。機械学習や深層学習のモデル訓練において、損失関数の最小化や効率的なアルゴリズム設計の基礎として広く応用されています。
凸最適化とは
一言でいうと、お椀を伏せたような「凸関数」の形状を利用して、効率的かつ確実に最も低い点（最適解）を見つけ出す数学的手法のことです。
詳しく解説
凸最適化は、目的関数が「凸関数」であり、かつ制約条件が「凸集合」を満たす最適化問題の総称です。凸関数の最大の特性は、どんな小さな範囲で局所的に最も低い場所（局所最適解）を見つけたとしても、それがグラフ全体で最も低い場所（大域的最適解）と一致する点にあります。この性質により、複雑な探索を行わなくても確実かつ効率的に最適解にたどり着くことが可能となります。機械学習の分野では、モデルの重みを調整して誤差を最小化する損失関数の最小化において、この凸最適化の理論や手法が大きな役割を果たしています。
具体例・使われ方
線形回帰モデルのパラメータ推定における最小二乗法や、サポートベクターマシーン（SVM）の学習プロセスなどは、凸最適化の問題として定式化され、効率的に解かれています。
似た用語との違い
一般的な非凸最適化問題では、無数の「局所最適解」と「大域的最適解」が存在するため、初期値の設定や局所的なトラップによって最良の解にたどり着けないリスクがあります。これに対し、凸最適化では局所最適解がそのまま大域的最適解になるため、大域的最適解を保証できる点で大きく異なります。
注意点
現実のすべての機械学習の問題が凸最適化で表現できるわけではありません。近年の深層学習で用いられる巨大なニューラルネットワークの損失関数は多くが非凸であり、凸最適化の理論をそのまま適用することはできません。あくまで特定の条件下での近似や基礎理論として捉える必要があります。