大域的最小値とは、最適化問題や機械学習の損失関数において、定義域全体の中で最も値が小さくなる点のことです。モデルの予測精度を極限まで高めるパラメータの組み合わせを示しますが、複雑な高次元空間ではその探索が非常に困難になります。
大域的最小値とは
一言でいうと、関数が取りうる値の中で「文字通り世界で一番小さくなる点」のことです。
詳しく解説
機械学習における学習プロセスは、モデルの予測誤差を計算する損失関数の値をできるだけ小さくするパラメータを見つける作業、すなわち最適化問題として定式化されます。この損失関数において、すべての可能なパラメータの範囲内で関数が最小値を取る場所が大域的最小値です。AIモデルの性能を理論上の限界まで引き上げるために重要な概念ですが、ディープラーニングのようにパラメータ数が膨大で複雑なモデルでは、関数の形状が非常に複雑な非凸関数となり、どこが大域的最小値なのかを数学的・計算量的に特定することが極めて困難であるという背景があります。
具体例・使われ方
例えば、2次元の広大な山脈を模した損失関数を想像してください。最も低い谷底を見つけることが目的であるとき、すべての山と谷の中で一番低い場所が大域ティブ最小値に相当します。AIの訓練では、この一番低い谷底へ到達することを目指して勾配降下法などのアルゴリズムがパラメータを更新していきます。
似た用語との違い
局所的最小値とは、その周辺の限られた領域の中では一番低いものの、全体を見渡すとより低い場所が他にある「ただの窪地」のような点を指します。大域的最小値が「全体の絶対的な最底辺」であるのに対し、局所的最小値は「部分的な底」である点が大きな違いです。
注意点
実際のディープラーニングなどの学習では、損失関数に無数の局所的最小値やサドルポイントが存在するため、最適化アルゴリズムが真の大域的最小値に到達できず、途中の局所的最小値や準最適な地点で止まってしまうリスクがあります。ただし近年の研究では、十分なモデルの複雑さがあれば、見つかった局所的最小値の性能も大域的最小値と遜色ない程度に十分低いことが多く、必ずしも大域的最小値にこだわる必要はないとも考えられています。