ミニバッチ勾配下降法は、機械学習モデルの重み更新において、訓練データをいくつかの小さなグループに分割し、そのグループごとに勾配を計算してパラメータを更新する最適化アルゴリズムです。バッチ勾配下降法の安定性と確率的勾配下降法（SGD）の処理速度という、両者の利点をバランスよく兼ね備えているため、ディープラーニングにおける標準的な手法として広く用いられています。
ミニバッチ勾配下降法とは
ミニバッチ勾配下降法とは、機械学習やディープラーニングのモデルを学習させる際、訓練データを小さなサブセット（ミニバッチ）に分割し、そのサブセットごとに誤差を計算してパラメータを段階的に更新する最適化アルゴリズムです。
詳しく解説
機械学習におけるパラメータ更新の最適化アルゴリズムには、全データを用いるバッチ勾配下降法と、1データごとに更新する確率的勾配下降法があります。しかし、全データを使用するとメモリ消費が大きく計算が遅くなり、1データのみでは更新が不安定（ノイズが多い）になります。そこで誕生したのがミニバッチ勾配下降法です。訓練データを例えば32、64、128といった「ミニバッチサイズ」に分割し、そのサブセット単位で勾配の平均を求め、パラメータを更新します。これにより、GPUによる並列計算を効率的に活用でき、メモリ消費を抑えながら安定かつ高速な学習が可能になります。
具体例・使われ方
例えば、1万枚の画像データを用いて画像認識モデルを訓練する際、一度に1万枚すべてを処理するのではなく、128枚ずつのサブセットにデータを分割します。この128枚というグループ（ミニバッチ）ごとに損失関数を計算し、それに基づいてモデルの重みを更新します。1万枚全体の処理が完了すると「1エポック」となり、このサイクルを何度も繰り返すことで、効率的かつ安定して最適なモデルパラメータへと収束させていきます。
似た用語との違い
バッチ勾配下降法は、全データを一度に処理してパラメータを更新するため計算が非常に安定しますが、データ量が多いとメモリ不足になり処理が著しく遅くなります。確率的勾配下降法は、ランダムに選んだ1つのデータごとに更新するため、処理は高速ですが更新の軌跡が激しく変動し、最適な状態に収束しにくくなります。ミニバッチ勾配下降法は、これら両者の中間に位置し、部分的なデータ集合を使用することで、計算効率と学習の安定性の両方を最適に両立させています。
注意点
ミニバッチサイズ（バッチサイズ）はハイパーパラメータであり、適切な値を手動で設定する必要があります。バッチサイズが大きすぎるとメモリ不足を引き起こしたり、局所最適解に陥りやすくなったりします。逆に、小さすぎるとGPUの並列計算能力を十分に引き出せず、学習時間が長くなるほか、ノイズが大きくなりすぎて収束が不安定になる場合があります。また、ミニバッチを作成する際は、毎エポックごとにデータをランダムにシャッフルしないと、データの順序による偏りが生じて学習がうまくいかなくなる点に注意が必要です。