ポリシー勾配法は、強化学習においてエージェントの行動方針であるポリシーを直接パラメータ化し、報酬が最大化されるように勾配上昇法を用いて最適化するアルゴリズムの総称です。連続的な行動空間や確率的な方策を扱う問題に広く利用されています。
ポリシー勾配法とは
一言でいうと、ポリシー勾配法とは、「うまくできた行動の確率を高める」という調整を繰り返すことで、試行錯誤から最適な行動方針を直接学習する強化学習の手法です。
詳しく解説
ポリシー勾配法では、状態から行動を選択する確率を出力する関数（ポリシー）をニューラルネットワークなどで表現します。得られた報酬の大きさに基づいて、良い結果につながった行動の確率を上げるようにパラメータを更新します。価値関数を推定する手法とは異なり、行動空間が連続的であったり高次元であったりする場合でも効率的に学習できるという特徴があります。近年の複雑なロボット制御や大規模言語モデルの微調整などにおいて、基盤技術として重要な役割を果たしています。
具体例・使われ方
具体的な利用例として、自律型ロボットの歩行制御や、人間のフィードバックに基づいて大規模言語モデルの出力を望ましい方向に調整するRLHF（人間フィードバックによる強化学習）などが挙げられます。ロボット制御では、関節を動かす角度や力の入れ具合といった連続値をスムーズに学習するために活用されます。
似た用語との違い
価値ベースの強化学習であるQ学習などとの違いとして、Q学習が「各状態における行動の価値（Q値）」を求めてからそれに基づいて行動を選ぶのに対し、ポリシー勾配法は「行動そのものの確率（ポリシー）」を直接最適化する点が挙げられます。そのため、ポリシー勾配法は確率的な方策を自然に扱えるというメリットがあります。
注意点
学習が不安定になりやすく、ハイパーパラメータの調整が難しいという課題があります。また、サンプル効率が比較的低いため、多くの試行錯誤やデータ収集が必要になる点に注意が必要です。報酬設計が不適切な場合、意図しない行動を学習してしまうリスクもあります。