勾配消失とは、深層学習において学習の過程で誤差逆伝播法を通じて伝わる勾配が次第に小さくなり、最終的に入力層に近い初期の層の重みが更新されなくなる現象です。これにより多層のニューラルネットワークの学習が正常に行われなくなる課題があります。
勾配消失とは
一言でいうと、ニューラルネットワークを深くするほど、出力から遠い層に情報が伝わりにくくなり、効率的な学習ができなくなる問題のことです。
詳しく解説
勾配消失は、多層のニューラルネットワークを訓練する際に発生する代表的な問題です。ニューラルネットワークの学習では、出力結果の誤差をもとに、誤差逆伝播法を用いてネットワーク全体を逆向きに走査しながら、重みを微調整していきます。この際、シグモイド関数やハイパボリックタンジェントなどの活性化関数を使用すると、入力値の絶対値が大きい部分で微分値（傾き）がほぼゼロになってしまいます。誤差を逆向きに伝える過程でこの小さな微分値が掛け算され続けるため、入力層に近づくにつれて勾配が急速に減衰し、実質的にゼロになってしまいます。その結果、初期の層の重みがほとんど更新されず、ネットワーク全体として適切な特徴量を学習できなくなるという重要性の高い課題が生じます。
具体例・使われ方
例えば、何十層あるいは何百層にも及ぶ非常に深いディープラーニングモデルを用いて画像認識を行わせる場合を考えます。勾配消失が発生していると、ネットワークの浅い層が担当するはずのエッジや線の検出といった基本的な特徴の抽出が正しく学習されません。その結果、モデル全体としての認識精度が頭打ちになり、どれだけ大量のデータを入力しても性能が向上しないという事態に陥ります。
似た用語との違い
勾配消失と混同されやすい概念として勾配爆発があります。勾配消失が誤差逆伝播の過程で勾配がゼロに向かって限りなく小さくなっていく現象であるのに対し、勾配爆発は逆に勾配が無限大に発散していく現象です。勾配爆発では、重みの更新値が大きくなりすぎて計算が不安定になり、学習が発散して進行しなくなります。どちらもディープラーニングの学習を阻害する重大な要因ですが、症状と原因の方向性が異なります。
注意点
勾配消失は、活性化関数にシグモイド関数やTanh関数などを用いることで発生しやすくなります。この問題を回避・緩和するためには、ReLU関数のような微分値が一定に保たれる活性化関数の採用が効果的です。また、ResNetのように層をまたぐショートカット構造（スキップ接続）を取り入れる手法や、適切な重み初期化手法を選択することも重要ですが、ネットワーク構造やハイパーパラメータの設計には依然として専門的な注意が必要です。