レイヤー正規化は、ディープラーニングにおいて各データの各層における活性化値をサンプル単位で正規化する技術です。バッチサイズに依存せず安定した学習が可能になるため、Transformerや再帰型ニューラルネットワークなどの自然言語処理モデルで広く採用されています。勾配消失の抑制や学習の高速化に大きく貢献します。
レイヤー正規化とは
レイヤー正規化とは、ディープラーニングモデルの各層において、1つのデータサンプルに含まれる特徴量全体の平均と分散を計算し、データを扱いやすい数値範囲に揃える正規化手法のことです。
詳しく解説
ディープラーニングでは、層が深くなるにつれてデータの分布が変化し、学習が不安定になる課題があります。レイヤー正規化は、各層の出力に対してサンプルごとに平均を0、分散を1に正規化し、さらに学習可能なパラメータでスケールとシフトを行います。これにより、内部共変量シフトを軽減し、勾配消失や勾配爆発を防いで学習を安定化させます。従来のバッチ正規化がバッチ方向のデータで正規化を行うのに対し、レイヤー正規化は単一サンプル内の特徴量方向で計算するため、ミニバッチの大きさに結果が左右されない点が特徴です。この性質により、文長が可変である自然言語処理や、小バッチサイズでの学習において非常に重要な役割を果たしています。
具体例・使われ方
1. Transformerモデルにおける各ブロックの前後に適用し、大規模言語モデルの学習を安定させる事例。2. 内部状態が時系列に更新される再帰型ニューラルネットワークにおいて、各タイムステップの隠れ状態を正規化して長期の依存関係を学習しやすくする例。
似た用語との違い
バッチ正規化との主な違いは、正規化を行うデータの集約方向にあります。バッチ正規化はミニバッチ内の複数のサンプルにわたって特徴量ごとに平均と分散を算出するため、バッチサイズが小さい場合や可変長の系列データでは効果が低下します。一方、レイヤー正規化は単一のサンプル内で層内のすべての特徴量を対象に正規化を行うため、バッチサイズが1の場合や可変長データであっても安定して動作します。
注意点
レイヤー正規化は万能ではなく、画像認識などの分野ではバッチ正規化の方が高い性能を示すことがあります。また、特徴量全体の平均や分散を利用するため、特徴量間のスケールの違いが重要な意味を持つタスクでは情報が一部失われる可能性があり、適用場所の慎重な検討が必要です。