方策ネットワークとは、強化学習においてエージェントが特定の状態に置かれた際に、次に取るべき行動の確率分布を出力するニューラルネットワークです。深層強化学習の中核技術であり、囲碁AI「AlphaGo」やロボット制御などの高度な意思決定タスクに広く応用されています。
方策ネットワークとは
方策ネットワーク（Policy Network）とは、強化学習においてエージェントがある「状態（State）」を観測したときに、次に選択すべき「行動（Action）」の確率分布を直接出力するニューラルネットワークのことです。
詳しく解説
従来の強化学習では、各行動の価値（Q値など）を推定し、最も価値の高い行動を選択するアプローチ（価値ベース手法）が一般的でした。しかし、行動の選択肢が連続的である場合や、選択肢が非常に多い場合、価値の計算が困難になります。方策ネットワークを用いるアプローチ（方策ベース手法やアクター・クリティック法）では、ニューラルネットワークに直接「状態から行動へのマッピング（方策）」を学習させます。ネットワークのパラメータを更新する際には、方策勾配法などが用いられ、得られる報酬の期待値を最大化するように学習が進められます。これにより、複雑な環境下でも柔軟かつ連続的な意思決定が可能となります。
具体例・使われ方
方策ネットワークの代表的な例としては、Google DeepMindが開発した囲碁AI「AlphaGo」が挙げられます。AlphaGoでは、現在の盤面（状態）を入力として、次に石を置くべき場所（行動）の確率を方策ネットワークが予測し、効率的な探索を実現しました。また、自動運転車におけるハンドル操作（角度）やアクセルの踏み込み量といった連続的な制御、ロボットアームが物体を掴むための関節の動きの制御などにも応用されています。
似た用語との違い
混同されやすい概念に「価値ネットワーク」があります。方策ネットワークが「どの行動を取るべきか（確率）」を直接出力するのに対し、価値ネットワークは「現在の状態、あるいはその状態で特定の行動を取った結果、将来どれだけの報酬が得られるか（価値）」の予測値を出力します。また、価値ネットワークと方策ネットワークを組み合わせて使用する手法を「アクター・クリティック法」と呼び、ここでは方策ネットワークが行動を決める「アクター」の役割、価値ネットワークがその行動を評価する「クリティック」の役割を担います。
注意点
方策ネットワークの注意点として、学習の初期段階ではランダムに近い行動をとるため、学習の収束に膨大な試行錯誤が必要となる点が挙げられます。また、勾配の分散が大きくなりやすく、学習が不安定になりやすいという課題もあります。これを防ぐために、適切な報酬設計やハイパーパラメータの調整、さらには価値ネットワークを併用して分散を抑えるアプローチが不可欠です。