単一エージェント強化学習は、意思決定を行う主体（エージェント）が環境内に1つだけ存在する状況で、試行錯誤を通じて最適な行動ルールを学習する手法です。他の自律的なエージェントとの相互作用を考慮する必要がないため、数理的な定式化や学習の収束が比較的容易であり、強化学習の最も基礎的な枠組みとして広く利用されています。
単一エージェント強化学習とは
単一エージェント強化学習とは、学習および意思決定を行う「エージェント」と呼ばれる主体がシステム内にただ一つだけ存在し、環境との相互作用を通じて得られる報酬を最大化するように行動方針（方策）を学習する強化学習の手法です。
詳しく解説
この手法では、エージェントが環境の状態を観測し、行動を選択します。環境はその行動に応じて次の状態と報酬をエージェントに返し、エージェントはこのプロセスを繰り返すことで、長期的な累積報酬を最大化する方策を構築します。このプロセスはマルコフ決定過程として定式化されます。単一エージェントの強化学習は、環境が定常的（エージェントの行動以外で環境のルールが勝手に変化しない）であるという仮定を置きやすいため、数学的な収束性が理論的に保証されやすいという特徴があります。強化学習の代表的なアルゴリズムであるQ学習やDQNなどは、基本的にこの単一エージェント強化学習の枠組みをベースに発展してきました。
具体例・使われ方
具体的な利用例としては、囲碁やチェスなどのゲームAI（対戦相手を環境の一部とみなす場合）、ロボットのアーム制御、自動運転の車線変更シミュレーションなどが挙げられます。例えばロボットアーム制御では、アーム自体が唯一のエージェントであり、周囲の物理環境（障害物の位置や目標物の場所）に対して最適なトルクや角度を試行錯誤しながら学習します。
似た用語との違い
混同されやすい概念にマルチエージェント強化学習があります。単一エージェント強化学習では、意思決定を行う主体が1つだけであり、他の動的な意思決定主体の存在を考慮しません。一方、マルチエージェント強化学習では、複数のエージェントが同一環境内に存在し、互いに協力したり競争したりしながら同時に学習を進めます。マルチエージェント環境では、他者の行動によって環境が変化するため非定常問題となり、単一エージェント強化学習よりも学習の難易度が大幅に高くなります。
注意点
単一エージェント強化学習の限界として、現実世界の複雑な社会システムや、多数のドローンが協調して飛行するようなタスクには直接適用しにくい点が挙げられます。また、環境の変化（ダイナミクス）をすべて一定のものとして扱うため、他の自律的に動く要素が環境内に増えると、それらを環境のノイズとしてしか処理できず、学習が不安定になる、あるいは最適な方策を得られなくなるという注意点があります。