方策反復とは、強化学習においてエージェントの行動方針である方策の評価と改善を交互に繰り返すことで、最適な行動方針を求めるアルゴリズムです。環境のダイナミクスが既知のマルコフ決定過程において理論的な最適解を導くために用いられます。
方策反復とは
方策反復とは、強化学習における代表的な最適化手法の一つであり、現在の方策の性能を評価する「方策評価」と、より良い行動を選ぶように方策を更新する「方策改善」を繰り返すことで、最適な方策を求めるアルゴリズムです。
詳しく解説
方策反復は、動的計画法を基盤として発展した強化学習の重要なアルゴリズムです。プロセスは大きく二つのステップに分かれます。最初の「方策評価」では、現在の方策に従って行動した際の状態価値関数を計算します。次の「方策改善」では、得られた価値関数をもとに、より高い報酬が期待できる行動を選ぶように方策をアップデートします。この二つの手順を収束するまで交互に実行することで、理論的に最適な方策を導き出すことができます。強化学習の基礎理論を理解する上で不可欠な手法です。
具体例・使われ方
例えば、グリッドワールドのような迷路探索問題において、エージェントが各マスでどちらに進むべきかを決定するルールを最適化する際に利用されます。初期状態ではランダムに動く方策からスタートし、方策評価と方策改善を繰り返すことで、ゴールへ最短で到達するための最適な行動方針を完全に学習することができます。
似た用語との違い
混同されやすい概念として「価値反復」があります。価値反復が状態価値関数や行動価値関数を直接更新して最後に方策を導くのに対し、方策反復は方策そのものを明示的に保持し、その方策に対する価値を評価しながら更新していく点に違いがあります。
注意点
方策反復の大きな制約として、環境のマルコフ決定過程のモデル、すなわち状態遷移確率と報酬関数が完全に既知である必要があります。そのため、現実の複雑な問題のように環境モデルが未知である場合にはそのまま適用することが難しく、モデルフリーな強化学習手法への拡張が必要となります。