方針ネットワークとは、強化学習においてAIが現在の「状態」を入力として受け取り、次に取るべき最適な「行動」を選択または出力するために用いられるニューラルネットワークです。従来の価値関数に基づく手法と異なり、行動の確率分布を直接学習できるため、連続的な行動空間や複雑な意思決定問題において高いパフォーマンスを発揮します。
方針ネットワークとは
方針ネットワークは、強化学習においてエージェントが特定の状況（状態）において「どの行動をどれくらいの確率で選ぶべきか」という戦略（方針）を直接決定するためのニューラルネットワークです。
詳しく解説
強化学習では、環境から観察される状態に基づいて報酬を最大化する戦略を学習します。方針ネットワークは、状態を入力データとして受け取り、各行動の選択確率を出力します。このネットワークの重みを更新する手法として方針勾配法などが用いられます。価値関数を経由せずに行動確率を直接最適化できるため、ロボットの制御など行動の選択肢が連続的で無限に存在するタスクにも柔軟に対応できます。深層学習と組み合わせた深層強化学習の発展に伴い、非常に複雑なゲームや高度な制御タスクで標準的に活用されるようになりました。
具体例・使われ方
例えば囲碁AIのAlphaGoでは、盤面の配置（状態）を入力として、次にどこへ石を打つべきか（行動）の確率を方針ネットワークが計算します。また、自動運転システムにおいて、周囲のカメラ映像やセンサーデータからハンドル角度やアクセルの踏み込み量を決定する際にも利用されます。
似た用語との違い
価値ネットワークとの違いが挙げられます。価値ネットワークは「現在の状態や行動が将来どれくらい良い結果をもたらすか」という評価値を予測するのに対し、方針ネットワークは「次にどの行動を選ぶべきか」という具体的な選択確率を直接出力します。なお、これら両方を組み合わせて学習を安定させるアクター・クリティックという手法も存在します。
注意点
方針ネットワークは行動を確率的に選択するため、学習の初期段階では試行錯誤によるランダムな選択が多くなり、学習の収束に時間がかかる場合があります。また、報酬の設計が不適切だと望ましくない行動パターンを学習してしまうリスクがあるため、環境定義や報酬設計には細心の注意が必要です。