Leaky ReLUは、ディープラーニングのニューラルネットワークで使われる活性化関数のひとつです。従来のReLU関数で発生する「勾配消失問題」を改善するため、負の入力に対してわずかな傾きを持たせた仕組みが特徴です。
Leaky ReLUとは
Leaky ReLUとは、ニューラルネットワークの隠れ層において、入力値が負の場合でも完全にゼロにせず、わずかな負の出力（傾き）を返す活性化関数です。
詳しく解説
ディープラーニングにおいて、活性化関数はニューロンの出力を決定する重要な役割を持ちます。代表的なReLU関数は、入力が正のときはそのまま出力し、負のときは常にゼロを出力するため、計算が効率的である一方、負の領域で勾配が完全にゼロになり学習が止まってしまう「Dying ReLU（死んだReLU）問題」を引き起こすことがありました。Leaky ReLUはこの課題を解決するために考案され、負の入力に対しても非常に小さな係数（例: 0.01など）を掛けた値を返すことで、負の領域でもわずかな勾配を保持し続け、ニューラルネットワークの学習がスムーズに進むよう設計されています。
具体例・使われ方
ディープラーニングの画像認識モデルや音声認識モデルなど、多層のニューラルネットワークを構築する際に、活性化関数の選択肢としてReLUの代わりにLeaky ReLUが導入されることがあります。
似た用語との違い
通常のReLU関数が負の入力を一律にゼロとして扱うのに対し、Leaky ReLUは負の入力に対しても微小な傾きを持たせて出力する点が最大の違いです。また、負の領域の傾きをハイパーパラメータとして自動学習させる「Parametric ReLU（PReLU）」などの派生形も存在します。
注意点
負の領域の傾き係数を事前に手動で設定する必要がある場合があり、その値の選定がモデルの精度に影響を与えることがあります。また、すべての状況において通常のReLUや他の高度な活性化関数よりも必ず性能が向上するわけではありません。