ラグランジュ未定乗数法は、等式や不等式などの制約条件がある最適化問題において、条件を満たしながら目的関数を最大化または最小化する解を求めるための数学的手法です。機械学習ではサポートベクターマシンの学習や最大エントロピーモデルのパラメータ推定など、制約付き最適化問題を解く際に不可欠な基礎理論として幅広く活用されています。
ラグランジュ未定乗数法とは
ラグランジュ未定乗数法とは、いくつかの制約条件のもとで目的関数を最小化または最大化する点を見つけ出すための最適化手法です。
詳しく解説
複雑なモデルの学習では、パラメータに特定の制約を課した上で最も良い結果を得る「制約付き最適化問題」を解く必要があります。ラグランジュ未定乗数法では、目的関数に制約条件とラグランジュ乗数と呼ばれるパラメータを組み合わせたラグランジュ関数を定義します。このラグランジュ関数の勾配がゼロになる点を求めることで、元の制約条件を満たしつつ目的関数を最適化する候補を得ることができます。機械学習分野では、サポートベクターマシンのマージン最大化や、双対問題を導入して計算を簡略化するプロセスにおいて非常に重要な役割を果たしています。また、勾配降下法などの数値的な最適化手法と組み合わせることで、制約付きのパラメータ計算を効率的に実行可能にします。
具体例・使われ方
サポートベクターマシンにおいて、データを分離する境界とデータ点との間の距離（マージン）を最大化する際に、すべてのデータが正しく分類されるという制約条件を組み込んで最適なハイパープレーンを求める計算に利用されます。また、モデルの過学習を防ぐための正則化や、確率分布の推測において情報量を最大化する最大エントロピーモデルの構築などでも利用されます。
似た用語との違い
制約なし最適化問題で用いられる普通の勾配降下法は、パラメータの動きに制限がない状態で目的関数を最小化します。これに対し、ラグランジュ未定乗数法は明確な制約条件が存在する場合に適用され、制限の範囲内で最適なパラメータを探す点が異なります。また、主問題をより解きやすい形式に変換する双対問題の導出にも関与します。
注意点
ラグランジュ未定乗数法によって得られる点は最適解の候補（停留点）であり、必ずしも全体での最適解（大域的最適解）であるとは限りません。関数の形状が凸関数でない場合、局所的な最適解や鞍点にとどまるリスクがあります。また、不等式制約を扱う場合にはKKT条件を満たす必要があり、計算や評価の難易度が高くなる点に注意が必要です。