ニュートン法は、方程式の数値解や関数の極値を近似的に求めるための代表的な最適化アルゴリズムです。目的関数の勾配だけでなく、二階微分情報であるヘッセ行列を利用することで、最急降下法よりも非常に高速に最適な解へと収束する特徴を持ちます。一方で、計算コストが非常に高いという課題もあります。
ニュートン法とは
ニュートン法は、関数の接線または二次近似を利用して、方程式の解や関数の最小値・最大値を逐次計算によって探索する最適化アルゴリズムです。機械学習においては、損失関数の最小化や各種パラメータの更新などに用いられる重要な数学的手法の一つです。
詳しく解説
ニュートン法（またはニュートン・ラプソン法）の基本的な仕組みは、現在の探索点における関数の接線を求め、その接線が横軸と交わる点を次の探索点とするプロセスを繰り返すことです。最適化問題において目的関数を最小化（または最大化）する際には、目的関数の一次微分（勾配）がゼロとなる点を探索します。この場合、目的関数を二次式で近似し、一階微分（勾配）と二階微分（ヘッセ行列）の情報を用いてパラメータを更新します。このアプローチにより、初期値が最適解に十分に近ければ、極めて少ない反復回数で高精度な解に到達する「二次収束」という優れた特性を発揮します。深層学習などの大規模な問題ではそのまま適用することは困難ですが、多くの高度な最適化手法の基礎理論として位置づけされています。
具体例・使われ方
ニュートン法は、ロジスティック回帰のパラメータ推定における「反復再重み付け最小二乗法（IRLS）」などで具体的に利用されています。また、数理計画法や物理シミュレーションにおける非線形方程式の解法としても広く活用されています。機械学習モデルの訓練において、目的関数が比較的単純で次元数が少ない場合に、極めて強力な最適化アルゴリズムとして機能します。
似た用語との違い
ニュートン法と最もよく比較されるのが「最急降下法」です。最急降下法は一階微分である勾配のみを利用してパラメータを少しずつ更新するため、実装が単純で計算量も少ないですが、収束までに多くの反復が必要です。これに対し、ニュートン法は二階微分であるヘッセ行列の情報も活用するため、最急降下法よりも直行ルートで最適解に接近でき、必要な反復回数が大幅に少なくなります。ただし、1回あたりの計算負荷はニュートン法の方が遥かに高くなります。
注意点
ニュートン法の最大の欠点は、次元数（パラメータ数）が大きくなると、ヘッセ行列の計算およびその逆行列の計算コストが爆発的に増加することです。そのため、数百万以上のパラメータを持つ現代のディープラーニングなどには直接適用できません。また、目的関数が非凸関数の場合、極小値ではなく極大値やサドルポイント（鞍点）に収束してしまうリスクがあることや、初期値が最適解から遠すぎると収束しない、あるいは振動してしまう性質にも注意が必要です。