ラグランジュ乗数とは、制約条件のある最適化問題を効率的に解くために用いられる数学的手法およびそのパラメータです。機械学習においては、サポートベクターマシン（SVM）の学習や、モデルの正則化、強化学習などの背景にある制約付き最適化を数学的に扱う際、目的関数と制約条件を統合したラグランジュ関数を定義するために利用されます。
ラグランジュ乗数とは
ラグランジュ乗数とは、特定の制約条件のもとで目的関数を最大化または最小化する「制約付き最適化」問題を解くために、制約の影響度を表す係数として導入される数学的な変数です。
詳しく解説
機械学習やデータサイエンスでは、モデルの誤差を最小化しつつパラメータの大きさを制限するなど、条件を満たしながら最適な解を探す場面が多発します。このとき用いられるのがラグランジュ乗数法です。この手法では、元々の目的関数に対して制約条件に「ラグランジュ乗数」を掛け合わせた項を加減算し、「ラグランジュ関数」と呼ばれる新しい関数を作成します。制約付き問題を制約のない最適化問題へ変換することで、微分や勾配を用いた計算が可能になり、解析的または数値的に最適解を求めることができます。特に、元の問題を別の視点から解く「双対問題」へと変換するアプローチは、機械学習アルゴリズムの理論的背景において重要です。
具体例・使われ方
具体的な利用例として、パターン認識手法である「サポートベクターマシン」の学習が挙げられます。サポートベクターマシンでは、データを分離するマージン（境界線との距離）を最大化する際、誤分類を抑える制約条件が存在します。ラグランジュ乗数を用いることで、この制約付き最適化問題を双対問題へと変換し、高次元空間でも計算効率よく最適な識別境界を求めることができます。また、モデルの過学習を防ぐ正則化や、エネルギー最小化を扱う確率的生成モデルの学習などでも応用されています。
似た用語との違い
ラグランジュ乗数は「制約条件そのもの」ではなく、「制約条件を最適化問題に組み込むための調整用パラメータ」です。通常の無制約な最適化で用いられる勾配降下法などのアルゴリズムとは異なり、制約条件の曲面と目的関数の等高線が接する位置（勾配が平行になる点）を見つけるために使用されます。また、ペナルティ関数法のように制約違反に大きな罰則を与える近似手法とは異なり、ラグランジュ乗数法は厳密な最適解の必要条件（KKT条件）を記述できる点で異なります。
注意点
ラグランジュ乗数法を適用する際は、問題が「凸最適化」などの扱いやすい性質を持っているかどうかが重要です。非凸な問題では、ラグランジュ乗数を用いて得られた解が局所最適解にとどまったり、元の問題の解と一致しない「双対ギャップ」が生じたりすることがあります。また、不等式制約を扱う場合には、条件を満たすかどうかで乗数の値が変化する相補性条件など、より複雑な数学的条件を評価する必要がある点に注意が必要です。