大域的極小解とは、最適化問題において、目的関数の定義域全体の中で最も値が小さくなる点を指します。機械学習やディープラーニングのモデル訓練では、損失関数を最小化するパラメータを探索する際、この大域的極小解を見つけることが理想とされます。局所的な最適解である局所的極小解と対比される重要な概念です。
大域的極小解とは
大域的極小解（グローバル・ミニマム）とは、数理最適化や機械学習において、対象となる関数（主に損失関数や誤差関数）のすべての領域（定義域）の中で、関数の値が最も小さくなる（最小値となる）パラメータの状態のことです。
詳しく解説
機械学習のモデル学習では、モデルの予測値と正解データの誤差を表す「損失関数」を定義し、この関数の値をできるだけ小さくするパラメータ（重みやバイアス）の組み合わせを探索します（これを最適化問題と呼びます）。このとき、誤差が完全または実用上最も小さくなる最適点が大域的極小解です。しかし、ディープラーニングなどの複雑なニューラルネットワークでは、損失関数の形状が非常に複雑で高次元になるため、単純な勾配降下法などの最適化アルゴリズムを用いると、途中の窪みである局所的極小解や、平坦な領域であるサドルポイントに捕まってしまい、大域的極小解にたどり着くのが極めて困難になります。そのため、高度な最適化アルゴリズムや初期化手法、正則化などの技術を駆使して、より優れた最小値を目指す研究が続けられています。
具体例・使われ方
例えば、すり鉢状の地形を想像してください。すり鉢の底（最も低い地点）が「大域的極小解」です。もし、山あり谷ありの複雑な地形であれば、最も低い本物の底（大域的極小解）以外にも、一時的に低くなっている水たまりのような場所（局所的極小解）がいくつも存在します。機械学習の訓練プロセスは、目隠しをした状態で傾斜を頼りに山を下り、最も低い地点を目指す作業に例えられます。このとき、偶然近くにあった小さな窪みに留まらず、すべての地形の中で本当に一番低い底にたどり着くことができれば、大域的極小解に到達したことになります。
似た用語との違い
「局所的極小解（ローカル・ミニマム）」との違いが最も重要です。大域的極小解が「関数全体のすべての領域で最も低い値」であるのに対し、局所的極小解は「ある特定の近傍（狭い範囲）の中だけで最も低い値」を指します。また、傾きがゼロになる点としては「サドルポイント（鞍点）」もあります。これは、ある方向から見ると極小ですが、別の方向から見ると極大になっているような点で、大域的極小解とは異なります。ディープラーニングの最適化問題においては、厳密な意味での大域的極小解を見つけることよりも、実用上十分に低い損失値を持つ良好な局所的極小解を見つけることが現実的なゴールとなります。
注意点
ディープラーニングなどの大規模なモデルにおいては、損失関数が非凸関数（複雑な凹凸を持つ関数）となるため、数学的に大域的極小解を確実に発見する保証はありません。また、「大域的極小解に到達すれば常に最適なモデルになる」とは限らない点にも注意が必要です。訓練データに対して完全に誤差がゼロになる大域的極小解に到達した結果、未知のテストデータに対する予測精度が低下する「過学習」を引き起こす可能性があります。そのため、過学習を防ぐための工夫や、適度な汎化性能を持つパラメータ探索が実務上は重要視されます。