決定論的ポリシーとは、強化学習において状態が入力された際、確実かつ常に同一の行動を選択する方針のことです。確率的に行動を選ぶ確率論的ポリシーとは異なり、同じ状況では常に同じ出力を行うため予測可能性が高い特徴を持ちます。
決定論的ポリシーとは
決定論的ポリシーとは、エージェントが特定の状態に置かれたとき、確率を用いずにただ一つの最適な行動を一意に決定して出力する方策（ポリシー）のことです。
詳しく解説
強化学習では、環境の状態に応じてエージェントがどのように行動すべきかを決める方針をポリシーと呼びます。決定論的ポリシーは数式で関数として表され、状態sを入力すると、確率的な揺らぎを挟むことなく確実に行動aを出力します。これに対し、行動を確率分布からサンプリングするのが確率論的ポリシーです。決定論的ポリシーは、連続的な行動空間を効率的に扱うDDPG（Deep Deterministic Policy Gradient）などのアルゴリズムにおいて、勾配計算を安定させやすいという利点から広く採用されています。
具体例・使われ方
自動運転車が前方の障害物を検知した際、決定論的ポリシーを採用しているシステムであれば、状況に応じて必ず「時速20キロメートルでブレーキを踏む」という特定の操作を常に出力します。
似た用語との違い
確率論的ポリシーとの違いは、同じ状態であっても行動が確率的に変化するかどうかです。確率論的ポリシーは探索能力を高めるために多様な行動を試すのに適していますが、決定論的ポリシーは学習が安定しやすく、明確な最適行動が決まっている場合に有利です。
注意点
決定論的ポリシーの主な注意点は、確率的に多様な行動を試すことができないため、環境の探索不足に陥りやすい点です。そのため、学習の初期段階では適切なノイズを加えたり、確率論的ポリシーから切り替える工夫が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月27日 03:45