Xavier初期化とは、ディープラーニングのニューラルネットワークにおいて、重みの初期値を適切に設定することで勾配消失や勾配爆発を防ぐ手法です。Glorot初期化とも呼ばれ、シグモイド関数やハイパボリックタンジェントなどの活性化関数と組み合わせて広く使われます。
Xavier初期化とは
Xavier初期化は、ニューラルネットワークの学習開始時に重みの初期値をランダムに設定する際、前後の層のノード数に応じて適切な分散を持つように調整する手法です。
詳しく解説
深層学習の初期段階では、重みの値が大きすぎると勾配爆発が起き、小さすぎると勾配消失が発生して学習がうまく進みません。Xavier GlorotとYoshua Bengioによって提案されたこの手法は、前後の層のニューロン数を考慮して適切な分散で正規分布や一様分布から初期値をサンプリングします。これにより、層が深くなっても信号の分散が維持されやすくなり、効率的な学習が可能になります。
具体例・使われ方
多層パーセプトロンや畳み込みニューラルネットワークにおいて、活性化関数にシグモイド関数やtanh関数を採用するモデルの構築時に重みの初期化アルゴリズムとして適用されます。
似た用語との違い
He初期化がReLU関数向けに最適化されているのに対し、Xavier初期化はシグモイド関数やtanh関数などのS字型の活性化関数向けに設計されている点が異なります。
注意点
ReLU関数やそのバリエーションを活性化関数として使用する場合、Xavier初期化では十分な効果が得られないことがあり、勾配消失を引き起こすリスクがあるため注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月15日 15:31