アクター・クリティック法は、強化学習において行動を決定する「アクター（行動手）」と、その行動の良し悪しを評価する「クリティック（評価手）」の2つの役割に分けて学習を進める手法です。これにより、方策勾配法と価値関数に基づくアプローチの長所を組み合わせることができ、効率的かつ安定した学習が可能になります。
アクター・クリティック法とは
アクター・クリティック法とは、強化学習において意思決定を行う「アクター」と、その意思決定を評価する「クリティック」という2つの独立したエージェントを相互に協調させながら学習を進めるアルゴリズムのことです。
詳しく解説
アクター・クリティック法は、強化学習の主要なアプローチである「方策ベース」と「価値ベース」を融合させた手法です。アクターは、現在の環境の状況に応じてどのような行動をとるべきかという方策を学習します。一方、クリティックは、アクターがとった行動の結果として得られる報酬を予測し、その行動がどれだけ良かったかを示す価値関数を学習します。学習のプロセスでは、アクターが行動を起こし、クリティックがその行動の価値を計算してアクターにフィードバックします。アクターはこのフィードバックをもとに、より良い行動を選びやすくなるよう方策を更新します。近年では、深層学習（ニューラルネットワーク）と組み合わせることで、複雑なタスクに対しても高い性能を発揮するようになっています。
具体例・使われ方
具体的な利用例として、ロボットの制御や自動運転技術が挙げられます。例えば自動運転の場合、アクターがハンドル操作や加速といった具体的な行動を決定し、クリティックがその操作によって安全に目的地に近づけたかを評価します。また、囲碁や将棋などのボードゲームAIや、ゲームの自動プレイ用エージェントの育成、ドローンの姿勢制御など、連続的な行動選択が求められる多様な強化学習の分野で活用されています。
似た用語との違い
アクター・クリティック法と混同されやすい概念にQ学習や方策勾配法があります。Q学習は「価値ベース」の手法であり、最適な行動を直接出力するのではなく、各行動の価値を評価した上で最も価値の高い行動を選択します。これに対してアクター・クリティック法は、行動を直接選択する機構（アクター）を別個に持っています。一方、純粋な方策勾配法は価値の評価機構（クリティック）を持たず、得られた累積報酬のみを基準に方策を更新するため、学習のばらつきが大きくなりやすいという課題があります。アクター・クリティック法は、クリティックによる評価を導入することで、このばらつきを抑え、より安定した学習を実現しています。
注意点
アクター・クリティック法を実装する際の注意点として、アクターとクリティックという2つのニューラルネットワークを同時に学習させるため、学習の難易度が高い点が挙げられます。片方の学習が進みすぎたり遅れたりすると、全体のバランスが崩れて学習が不安定になることがあります。また、ハイパーパラメータの調整が繊細であり、適切な設定を行わないと局所解に陥るリスクや、学習が発散してしまう可能性があるため、設計には慎重な調整が必要です。