マルチエージェント強化学習（MARL）とは、複数の自律的なエージェントが共通の環境内で同時に学習を行い、協調や対戦を通じて最適な行動方針を獲得する技術です。従来の単一エージェント強化学習と異なり、他者の行動が環境変化に影響を与えるため、ロボット群の制御や交通流の最適化、ゲームAIなどで幅広く応用されています。
マルチエージェント強化学習とは
マルチエージェント強化学習は、複数の意思決定主体（エージェント）が同じ環境内で相互に影響し合いながら、最適な行動方針を学習する機械学習技術です。
詳しく解説
従来の強化学習は単一の主体が環境と相互作用することを前提としていましたが、現実社会には複数の主体が存在します。マルチエージェント強化学習では、各エージェントが自らの報酬を最大化するために行動しますが、他者の動向で環境が変化する非定常性が問題となります。これに対応するため、中央集権的な学習と分散実行を組み合わせるアルゴリズムや、他者の行動を予測する通信手法が研究されています。自動運転車の走行調整やロボット群の制御など、複雑なシステム最適化において重要です。
具体例・使われ方
例えば、物流倉庫で複数の搬送ロボットが連携して荷物を運ぶシステムや、都市の信号機が協調して交通渋滞を緩和する制御が挙げられます。また、複数のAIがチームを結成して競う対戦型ゲームのゲームAIや、電力網における効率的な電力の分配などにも利用されています。
似た用語との違い
単一エージェント強化学習との主な違いは、学習対象となるエージェントの数と環境の変化にあります。単一エージェント強化学習では環境が比較的安定しているのに対し、マルチエージェント強化学習では他者の行動により環境が常に変動します。また、一括管理する集中制御と異なり、各エージェントが分散して自律的に意思決定するため拡張性に優れています。
注意点
エージェントの数が増加すると計算量が飛躍的に増大する点や、相互作用により学習が不安定になり収束しにくい点が課題です。また、個々のエージェントが自らの利益を優先した結果、システム全体の効率が落ちる葛藤が生じる場合があるため、適切な報酬設計が不可欠です。