自然勾配法とは、パラメータ空間のユークリッド距離ではなく確率分布間の距離に着目してパラメータを更新する最適化アルゴリズムです。通常の勾配降下法がパラメータの取り方に影響を受けやすいのに対し、情報幾何学の知見を活用して最適な更新方向を決定します。強化学習のポリシーグラディエント法などで学習を安定化させるために広く応用されています。
自然勾配法とは
自然勾配法は、パラメータの変化量ではなく出力される確率分布の幾何学的な変化に基づいて効率的にパラメータを更新する最適化手法です。
詳しく解説
機械学習において広く用いられる通常の勾配降下法は、パラメータ空間が平坦なユークリッド空間であると仮定して勾配を計算します。しかし、同じモデルでもパラメータの表現形式が変わると勾配の方向が変化し、学習が不安定になる問題がありました。これに対し提案された自然勾配法では情報幾何学を導入し、確率分布間の差異を測るカルバック・ライブラー情報量を局所近似したフィッシャー情報行列をリーマン計量として用います。これによりパラメータ表現の依存性を排除し、分布空間上で本質的に効率的な最短経路に沿ってパラメータを更新できます。
具体例・使われ方
例えば強化学習においてエージェントの行動方針を更新するポリシーグラディエント法に自然勾配法を適用するケースが代表的です。政策分布が急激に変化して学習が破綻するのを防ぎ、着実に期待報酬を最大化する方針学習が可能になります。また深層学習における大規模モデルの事前学習や最適化の高速化にも応用されています。
似た用語との違い
通常の勾配降下法との最大の違いは、何を基準に更新量を測るかです。通常の勾配降下法はパラメータ値自体の数値的変化量を最小化しようとしますが、自然勾配法はモデルが出力する確率分布の変化量を基準とします。また二階微分を用いるニュートン法とも異なり、損失関数の曲率ではなく確率モデル自体の幾何学的構造をフィッシャー情報行列で捉える点が特徴です。
注意点
自然勾配法の主な限界は、パラメータ数が増大した際にフィッシャー情報行列のサイズとその逆行列の計算量が爆発的に増える点です。そのため深層ニューラルネットワークのような大規模モデルにそのまま適用することは難しく、近似計算手法と組み合わせて使われることが一般的です。