方策とは、強化学習においてエージェントが特定の状態に直面した際、次にどのような行動を選択すべきかを決定するルールのことです。環境から得られる累積の報酬を最大化するために、学習を通じて最適化されます。ある状態に対して決定的な行動を返すものや、行動の確率分布を返すものがあり、自動運転やゲームAIなどの意思決定プロセスにおいて中核的な役割を担っています。
方策とは
強化学習において、エージェントが置かれた状態に基づいて、次にどのような行動を選択するかを決定するためのルールや指針のことです。
詳しく解説
強化学習の枠組みでは、意思決定を行うエージェントが環境と相互作用しながら、得られる累積の報酬を最大化することを目指します。このとき、現在の環境の状態を入力とし、次に取るべき行動を出力する関数やマッピングの役割を果たすのが方策です。方策には、ある状態に対して特定の行動を必ず選択する決定的方策と、行動の選択肢を確率分布として表現する確率的方策の2種類があります。エージェントは学習を通じて、より多くの報酬を得られるようにこの方策を最適化していきます。
具体例・使われ方
例えば、自動運転車における方策は、前方の車両との距離が10メートルという状態の入力に対し、ブレーキをかけるという行動を決定するルールです。また、将棋や囲碁などのボードゲームAIにおいては、現在の盤面の状況という状態から、次に打つ手という行動を選択する確率を計算するニューラルネットワークが方策に相当します。
似た用語との違い
方策と混同されやすい概念に価値関数があります。価値関数は、ある状態や行動が将来的にどれだけ報酬をもたらすかという良さを予測・評価するものです。これに対して、方策は直接的にどの行動をとるべきかという意思決定のルールそのものを指します。強化学習アルゴリズムには、価値関数を経由して間接的に方策を決める手法と、方策を直接更新する方策勾配法のような手法が存在します。
注意点
学習の初期段階では、方策が十分ではないためランダムな行動を取りやすくなります。十分な探索が行われないと、局所的な最適解に陥り、最適方策を見落とす危険性があります。また、環境が複雑すぎる場合や報酬の設計が不適切な場合、エージェントは望ましくない、あるいは危険な方策を学習してしまうことがあるため注意が必要です。