モメンタム法とは、機械学習のモデル更新において、前回の更新量を物理の「慣性」のように考慮することで最適化を加速させる手法です。通常の確率的勾配降下法で起こりがちな振動や停滞を抑え、谷のような深い損失関数上でも効率よく最適解へ向かって進むことができます。ディープラーニングの学習速度向上と安定化に大きく貢献した基本的な最適化手法です。
モメンタム法とは
モメンタム法とは、重みの更新過程に前回の移動量を一定の割合で足し合わせることで、運動量を模した加速を行う機械学習の最適化アルゴリズムです。
詳しく解説
機械学習におけるパラメータ更新では、勾配降下法や確率的勾配降下法が基本として用いられます。しかし、これらの手法では傾斜が急な方向には大きく振動し、平坦な方向には進みが遅くなる課題がありました。モメンタム法はこの課題を解決するため、過去の勾配の移動平均のような効果（物理的な慣性）を導入します。進行方向が一貫している場合には移動速度を加速させ、進行方向が激しく変化する振動に対してはブレーキをかける効果を持ちます。これにより、鞍点や局所最適解からの脱出を助け、効率的な学習を実現します。
具体例・使われ方
坂道を転がるボールのイメージで捉えることができます。平坦な道やゆるやかな坂でも、一度加速したボールは慣性で前進し続けます。また、崖の左右を行き来するようなギザギザした経路では、左右の力が相殺されて打ち消し合い、結果として下方向へスムーズに進むことができます。画像認識や自然言語処理のニューラルネットワーク学習において、通常の確率的勾配降下法より高速かつ安定して収束させる目的で用いられます。
似た用語との違い
確率的勾配降下法は各ステップの勾配情報のみに基づいてパラメータを更新しますが、モメンタム法は過去の更新量を考慮する点が異なります。また、学習率をパラメータごとに動的に調整するAdaGradや、慣性と動的な学習率調整を組み合わせたAdamといった発展的なアルゴリズムの基礎としても位置づけられています。
注意点
モメンタム項（慣性の強さ）のハイパーパラメータを大きく設定しすぎると、大域的最適解を通り過ぎて飛び出してしまうオーバーシュートが発生することがあります。また、勾配が非常に大きい領域では加速しすぎて学習が不安定になるリスクもあるため、適切な学習率とモメンタム係数の調整が必要です。