RMSpropは、ディープラーニングなどのニューラルネットワーク学習において用いられる最適化アルゴリズムの一つです。過去の勾配の自乗平均を指数移動平均として保持・更新することで、学習率を適応的に調整します。これによりAdaGradで問題となっていた学習後半の学習率の極端な低下を防ぎ、安定したパラメーターの更新を可能にします。
RMSpropとは
RMSpropは、ニューラルネットワークの最適化において、直近の勾配の大きさに応じて学習率を自動的に調整する最適化アルゴリズムです。
詳しく解説
従来の勾配降下法では、すべてのパラメーターに対して一律の学習率を適用するため、最適な移動幅を設定するのが困難でした。これを改善したAdaGradは過去の全ての勾配の自乗和を蓄積して学習率を減衰させますが、学習が進行すると学習率がゼロに近づき更新が止まってしまう欠点がありました。RMSpropはこの問題を解決するために提案された手法です。過去の勾配の二乗に対して指数移動平均を計算することで、古い勾配の影響を徐々に薄め、直近の勾配情報に基づいて学習率を調整します。これにより、勾配の振動を抑えながら進行方向に適したステップ幅で効率的に学習を進めることができます。
具体例・使われ方
画像認識や自然言語処理のための複層的なニューラルネットワークの訓練時に使用されます。特に、時系列データを扱う循環型ニューラルネットワーク（RNN）の学習において、勾配消失や勾配爆発の影響を軽減し、安定した収束を実現する場面で広く利用されています。PyTorchやTensorFlowなどの主要なライブラリでも標準的に実装されています。
似た用語との違い
AdaGradとの違いは、過去の勾配の二乗和を単純累計するのではなく、指数移動平均を用いる点です。これによりAdaGradのように学習率が極端に小さくなり学習が停滞する現象を防ぎます。また、Adamとの違いは、AdamがRMSpropの持つ勾配の二乗の指数移動平均に加えて、勾配自体の指数移動平均（モーメンタム成分）も組み合わせて保持・利用する点にあります。
注意点
RMSpropを使用する際は、ハイパーパラメーターである減衰率（指数移動平均の比率）や初期学習率の適切な設定が必要です。問題のデータ構造によっては、モーメンタム効果を取り入れたAdamや確率的勾配降下法の方が良い性能を発揮する場合もあります。また、適切な正則化を行わないと過学習に陥るリスクがあるため注意が必要です。