SGD（確率的勾配降下法）は、機械学習においてモデルのパラメータを効率的に更新するための最適化アルゴリズムです。全データではなく、ランダムに選んだ一部のデータを用いて勾配を計算・更新するため、大規模データに対しても高速かつ省メモリで学習を進められます。現代のディープラーニングにおける標準的な最適化手法の基礎となっています。
SGDとは
SGD（確率的勾配降下法）とは、機械学習やディープラーニングにおいて、モデルのパラメータを効率的に更新するための代表的な最適化アルゴリズムです。
詳しく解説
機械学習では、モデルの予測値と実際の値のズレを示す損失関数を最小化することが目的となります。従来の勾配降下法（バッチ勾配降下法）では、すべての学習データを使用してパラメータの更新方向（勾配）を計算するため、データ量が多い場合に膨大な計算時間が必要でした。これに対してSGDは、データセットからランダムに1つのデータを取り出して勾配を計算し、頻繁にパラメータを更新します。このアプローチにより、計算コストを大幅に削減し、メモリ消費を抑えながら高速に学習を進めることが可能になりました。さらに、確率的な挙動が局所最適解（ローカルミニマ）から脱出する手助けとなるメリットもあります。
具体例・使われ方
SGDは、数百万枚の画像データを扱う画像認識モデルの訓練や、大規模なニューラルネットワークの学習で広く利用されています。具体的には、学習プロセスを効率化するために、データをいくつかの塊に分けたミニバッチを用いてパラメータ更新を行う「ミニバッチ勾配降下法」の実質的な基礎として機能しています。また、学習の進行度合いに応じてパラメータの更新幅を調整する学習率のスケジューリングと組み合わせて使用されることが一般的です。
似た用語との違い
SGDと混同されやすい概念として、バッチ勾配降下法やAdamがあります。バッチ勾配降下法は全データを用いて正確な勾配を計算するため安定していますが、計算が極めて遅くなります。一方、SGDは1データごとに更新するため高速ですが、更新の軌跡が激しく振動します。この両者の折衷案がミニバッチを用いる方法です。また、AdamはSGDをさらに発展させ、過去の勾配情報に基づいて学習率を自動で調整する高度な最適化アルゴリズムであり、現在ではSGDと並んで広く利用されています。
注意点
SGDは計算が高速である一方、パラメータの更新がランダムなデータに依存するため、学習の進行が不安定になりやすい（ノイズが多い）という弱点があります。また、適切な学習率を設定しないと、最適解に収束しなかったり、発散したりする問題が生じます。さらに、平坦な領域（鞍点）や局所最適解に捕まった場合、そこから抜け出すのが困難になることもあり、適切なハイパーパラメータ調整やモーメンタムなどの改良手法の併用が推奨されます。