方策勾配定理とは、強化学習においてエージェントの行動確率を定める方策の性能に関する期待値の勾配を、未知の環境ダイナミクスに依存せずに計算できることを示した基本定理です。
方策勾配定理とは
方策勾配定理を一言でいうと、強化学習で行動を決める方針（方策）をどの方向に改善すればより良い結果が得られるかを、確率の微分を使って数理的に導くための基礎となる定理です。
詳しく解説
強化学習では、エージェントが環境から得られる報酬の総和を最大化するように学習します。方策勾配法では方策をパラメータ化して直接最適化を行いますが、その際に性能指標の勾配を計算する必要があります。従来、勾配の計算には環境の遷移確率（ダイナミクス）を知る必要がありましたが、方策勾配定理を用いることで、環境モデルを完全に知らなくても、観測された軌跡データから勾配を直接推計できるようになります。これがこの定理の重要な数学的意義です。
具体例・使われ方
ロボット制御において二足歩行の動作を最適化する際、試行錯誤を通じて得られた動作の軌跡と報酬のデータから、方策のパラメータを更新して歩行の安定性を高める場面などで活用されます。
似た用語との違い
価値ベースの手法であるQ学習などでは、行動価値関数を介して間接的に方策を決定しますが、方策勾配定理に基づく手法では、確率的な方策を直接パラメータとして更新する点が異なります。
注意点
方策勾配定理を用いた学習はサンプル効率が悪くなりやすく、得られる勾配の推計値の分散が大きいため、学習が不安定になりやすいという欠点があります。そのため、適切なベースラインの導入やアルゴリズムの工夫が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月27日 01:00