He初期化とは、ディープラーニングの神経回路網において、畳み込み層などで広く使われるReLU関数に最適化された重みの初期化手法です。層が深くなっても学習が停滞する勾配消失を防ぎ、効率的なモデル学習を可能にします。
He初期化とは
He初期化とは、ニューラルネットワークの学習を開始する際、各層の重みパラメータにどのような初期値を設定するかを決めるための手法の一つです。
詳しく解説
ディープラーニングでは、重みの初期値が不適切だと、勾配消失や勾配爆発を引き起こし、学習がうまく進まない問題が発生します。He初期化は、活性化関数にReLUを用いるネットワークの特性に合わせて考案されました。前後の層のノード数に応じて、分散を適切に調整したランダムな値を重みに設定することで、シグモイド関数やtanh関数向けの手法では防げなかった深い層での学習停滞を防ぎます。
具体例・使われ方
画像認識や自然言語処理で一般的に用いられる深い畳み込みニューラルネットワークにおいて、モデルをゼロから学習させる際の初期設定として適用されます。
似た用語との違い
従来のXavier初期化がシグモイド関数やtanh関数などの線形に近い活性化関数を前提としているのに対し、He初期化は非線形なReLU関数及其の派生形に特化している点が大きな違いです。
注意点
He初期化はReLU系の活性化関数を持つ層に対して最大の効果を発揮しますが、活性化関数にシグモイド関数やtanh関数を使用するネットワークに適用した場合は、必ずしも最適な学習効果が得られない点に注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月15日 15:21