バッチ勾配下降法は、機械学習モデルのパラメータ最適化に用いられる基本的なアルゴリズムです。訓練データセット全体を一度にすべて読み込み、全体の誤差に基づいて損失関数の勾配を計算し、パラメータを更新します。更新が極めて安定している一方で、データ量が膨大になるとメモリ消費量や計算負荷が非常に大きくなる特徴があります。
バッチ勾配下降法とは
バッチ勾配下降法とは、機械学習において、訓練データセットのすべてのデータを用いて一度にパラメータを更新する勾配下降法の手法です。
詳しく解説
機械学習モデルの訓練において、予測値と正解値のズレを示す損失関数を最小化することが目的となります。バッチ勾配下降法では、1回のパラメータ更新を行うために、全データに対する損失の平均（勾配）を計算します。これにより、ノイズの影響を受けにくく、最適解（極小値）に向かって極めて安定した軌跡でパラメータが更新されます。この1回分の全データ走査を1エポックと呼び、学習率と呼ばれる調整用パラメータを掛け合わせて更新幅を決定します。数式やアルゴリズムの挙動を理解しやすいため、最適化アルゴリズムの基礎として広く学ばれています。
具体例・使われ方
例えば、住宅価格予測モデルを1万件のデータで訓練する場合を考えます。バッチ勾配下降法では、この1万件すべてのデータに対する予測誤差を一括で計算し、その平均勾配を用いてモデルの重みを1回だけ修正します。これを何度も繰り返すことで、徐々に最適な価格予測ができるモデルを構築していきます。
似た用語との違い
混同されやすい概念として、確率的勾配下降法とミニバッチ勾配下降法があります。バッチ勾配下降法が全データを使用して1回更新するのに対し、確率的勾配下降法はランダムに選んだ1つのデータごとにパラメータを更新します。ミニバッチ勾配下降法はこれらの中間に位置し、データを数十〜数百件の小さなグループ（ミニバッチ）に分割してグループごとに更新を行います。バッチ勾配下降法は安定性に優れますが、他の手法に比べて1回あたりの計算コストが非常に高くなります。
注意点
バッチ勾配下降法の最大の注意点は、大規模なデータセットに対してメモリ不足を引き起こしやすい点です。全データを一度にメモリ上に展開して計算する必要があるため、現代の大規模言語モデルなどの訓練には現実的ではありません。また、損失関数の形状が複雑な場合、局所最適解（ローカルミニマム）や鞍点から抜け出しにくく、大域的最適解に到達できないリスクもあります。