勾配爆発とは、ディープラーニングの学習時に誤差逆伝播法を通じて勾配が急激に大きくなりすぎる現象です。パラメータが過剰に更新され、数値が不安定になって学習が破綻する原因となります。適切な勾配クリッピングや活性化関数の選定が対策として重要です。
勾配爆発とは
一言でいうと、ディープラーニングの学習過程で重みの更新値（勾配）が異常に巨大化し、計算が破綻する現象のことです。
詳しく解説
ディープラーニングの学習では、ニューラルネットワークのパラメータを最適化するために誤差逆伝播法（バックプロパゲーション）を用いて勾配を計算します。深層学習のように層の数が非常に深いネットワークでは、逆伝播の計算において勾配の掛け算が何度も繰り返されます。このとき、ネットワークの初期の重みが大きい場合や、特定の条件が重なると、層を遡るにつれて勾配が雪だるま式に増幅されていきます。これが勾配爆発です。結果として、パラメータの更新量が大きすぎてモデルが発散し、損失関数の値が計算不能（NaN）になるなどして学習が続行できなくなります。
具体例・使われ方
例えば、多層の再帰型ニューラルネットワーク（RNN）を用いて時系列データを処理する際、長い時間ステップにわたって逆伝播を行うと、勾配爆発が発生しやすくなります。画像認識で使われる非常に深い畳み込みニューラルネットワーク（CNN）においても、適切な初期化が行われていない場合に同様の問題が表面化することがあります。
似た用語との違い
逆の現象として「勾配消失」があります。勾配消失は、層を遡るにつれて勾配が限りなくゼロに近づき、浅い層の学習がほとんど進まなくなる現象です。どちらもディープラーニングの学習を不安定にする主要な原因ですが、勾配が「大きくなりすぎる」か「小さくなりすぎるか」という点で明確に区別されます。
注意点
勾配爆発が発生すると、学習の途中で損失が突然「NaN（Not a Number）」になり、モデルの重みが復元不可能になることがあります。そのため、あらかじめ閾値を設けて勾配の大きさを制限する「勾配クリッピング」や、適切な重みの初期化手法（Heの初期化やXavierの初期化など）を導入することが不可欠です。