DDPG（Deep Deterministic Policy Gradient）とは、連続値の行動空間を持つ環境に対して効率的な学習を行う、ディープラーニングを活用した強化学習アルゴリズムの一つです。Q学習と方策勾配法を組み合わせたアクター・クリティック方式を基盤としています。
DDPGとは
詳しく解説
DDPGは、連続値の制御が得意なDPG（Deterministic Policy Gradient）と、深層学習により複雑な関数近似を可能にしたDQNのアイデアを組み合わせた手法です。アクターネットワークが直接行動を出力し、クリティックネットワークがその行動の価値を評価することで学習を安定させます。また、学習の安定性を高めるために、ターゲットネットワークや経験再生（Experience Replay）といった技術が導入されているのが特徴です。
具体例・使われ方
ロボットアームの正確な角度制御、自動運転車における連続的なハンドルやアクセルの操作、金融分野における連続的なポートフォリオ最適化などの制御問題で広く利用されています。
似た用語との違い
離散的な行動選択を扱うDQNが「右・左」のような限られた選択肢しか扱えないのに対し、DDPGは「ステアリングを23.5度切る」といった連続値の行動を直接出力できる点で異なります。
注意点
DDPGはハイパーパラメータの調整が難しく、初期設定や環境の変化によっては学習が不安定になりやすいという限界があります。また、サンプル効率が悪く、十分な学習には多くの試行錯誤が必要となる点に注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月27日 04:45