アクター・クリティックは、強化学習における代表的なアルゴリズムの枠組みです。行動を決定する『アクター（行動手）』と、その行動を評価する『クリティック（批評家）』という2つの役割を分けて学習を進めます。これにより、複雑な環境でも効率的かつ安定して最適な行動ルール（方策）を獲得できるのが特徴です。
アクター・クリティックとは
アクター・クリティック（Actor-Critic）とは、強化学習において、行動を選択する役割（アクター）と、その行動の良し悪しを評価する役割（クリティック）を個別のコンポーネントとして分離し、相互に協調させながら学習を進めるアルゴリズムの枠組みです。
詳しく解説
アクター・クリティックでは、アクターが『方策（どの状態のときにどの行動をとるかの確率分布）』を保持し、これに基づいてエージェントを動かします。一方、クリティックは『価値関数』を用いて、現在の状態やアクターの行動がどれだけ将来的に利益（報酬）をもたらすかを推定・評価します。アクターは、クリティックによる評価（TD誤差など）をフィードバックとして受け取り、より良い評価が得られるように行動の選択確率（方策勾配法などを用いて）を更新します。この2つの役割を分担させることで、行動の選択肢が多い複雑な問題や、連続的な行動空間を扱う問題でも、学習のバラつき（分散）を抑えつつ安定して効率的な学習が可能になります。ディープラーニングと組み合わせた深層強化学習の分野でも、多くのアルゴリズムの基盤となっています。
具体例・使われ方
アクター・クリティックの仕組みは、現実世界の『選手とコーチ』の関係に例えられます。選手（アクター）が実際に試合でプレイを行い、コーチ（クリティック）がそのプレイを見て『今の動きは良かった』『もっとこうすべきだ』と評価・アドバイスを送ります。選手はそのアドバイスを元に自身のプレイスタイルを改善していきます。具体的なAI応用例としては、ロボットの多関節制御や、自動運転における加減速とハンドル操作の同時制御、ゲームAIのプレイ学習など、連続的で複雑な意思決定が求められる場面で活用されています。
似た用語との違い
アクター・クリティックと混同されやすいものに『Q学習』や純粋な『方策勾配法』があります。Q学習は価値関数のみを学習し、その価値が最大となる行動を決定論的に選択するため、行動の選択肢が膨大な場合や連続値の場合に対応が困難です。また、純粋な方策勾配法は価値関数を持たず、実際の報酬（エピソード全体の収益）だけを頼りに方策を直接更新するため、学習の分散が大きく不安定になりがちです。アクター・クリティックは、価値関数（クリティック）を用いて方策勾配法（アクター）の学習をサポートすることで、両者のメリットを組み合わせ、学習の安定性と効率性を両立させています。
注意点
アクター・クリティックの注意点として、アクターとクリティックという2つのニューラルネットワークを同時に学習させる必要があるため、ハイパーパラメータの調整が極めて難しい点が挙げられます。どちらか一方の学習が進みすぎたり、逆に遅れたりすると、全体の学習が不安定になり、局所解に陥る危険性があります。また、サンプル効率（学習に必要な試行錯誤の回数）が依然として低いため、実世界の実機（本物のロボットなど）でゼロから直接学習させるには膨大な時間と破損のリスクが伴い、シミュレーターの活用が不可欠となる場合が多いです。