ポリシーグラディエント法は、強化学習においてエージェントの行動方針を直接パラメータ化し、報酬を最大化するように勾配降下法（正確には勾配上昇法）を用いて学習を行う手法の総称です。連続的な行動空間を扱える点や、確率的な方策を直接表現できる点が特徴です。
ポリシーグラディエント法とは
一言でいうと、ポリシーグラディエント法とは、試行錯誤を通じて「どのような状況でどのような行動をとるべきか」という方針そのものを直接最適化する強化学習のアルゴリズム群です。
詳しく解説
強化学習には大きく分けて価値ベースの手法と方策ベースの手法が存在します。ポリシーグラディエント法は後者にあたります。価値ベースの手法が状態価値関数や行動価値関数を介して間接的に最適な行動を選ぶのに対し、ポリシーグラディエント法では方策（ポリシー）をパラメータ化し、得られた報酬の大きさに基づいてそのパラメータを直接更新します。目的関数として期待報酬を定義し、その微分（勾配）を計算してパラメータを調整することで、より高い報酬が得られる行動選択の確率を高めていきます。これにより、従来の手法では扱いが難しかった高次元や連続的な行動空間を持つ複雑な問題に対しても適用しやすくなったという背景があります。
具体例・使われ方
具体的な利用例として、ロボットの歩行制御やマニピュレータの動作獲得といった連続値をとる制御問題があげられます。また、自動運転におけるステアリングやアクセルの細かな調整、大規模言語モデルにおける人間のフィードバックを用いた強化学習（RLHF）の最適化プロセスなどでも基盤技術として広く活用されています。
似た用語との違い
価値ベースの手法であるQ学習などとの違いとして、Q学習が行動価値を推定してから最適な行動を導き出すのに対し、ポリシーグラディエント法は確率的な方策を直接学習する点が挙げられます。また、Q学習は決定論的な最適方策を扱いやすい一方、ポリシーグラディエント法は確率的な方策を自然に扱えるため、探索と利用のバランスを取りやすいという特徴があります。
注意点
注意点として、一般的にサンプルの効率が低く、多くの試行錯誤データが必要になる点が挙げられます。また、報酬の分散が大きくなりやすいため学習が不安定になりやすく、適切なハイパーパラメータの調整やベースラインの導入などの工夫が不可欠です。さらに、局所最適解に陥りやすいという強化学習特有の課題も存在します。