モデルベース強化学習とは、エージェントが行動する環境の仕組み（環境モデル）を学習し、そのモデルを用いて将来の行動結果を予測・計画しながら学習を進める強化学習の手法です。試行錯誤の回数を大幅に削減できるため高いサンプル効率を実現し、ロボット制御やシミュレーション分野で注目を集めています。
モデルベース強化学習とは
環境の推移ルールや報酬の予測モデルを内部に構築し、現実世界で何度も試行錯誤することなく、仮想的なシミュレーションを通じて効率的に最適な行動方針を学習する強化学習の手法。
詳しく解説
従来のモデルフリー強化学習では、実際に環境内で試行錯誤を何度も繰り返す必要があり、データ収集に膨大な時間やリスクが伴うという課題がありました。モデルベース強化学習では、状態の遷移確率や獲得できる報酬関数を近似する「環境モデル」を構築します。このモデル上で将来の状態変化や報酬を予測し、計画（プランニング）や価値関数の更新を行うことで、少ない実データで効果的に学習を進められます。近年ではディープラーニングと組み合わせた手法が進化しており、複雑な環境での予測精度が向上しています。
具体例・使われ方
産業用ロボットの制御において、実機を破壊するリスクを避けながら、コンピュータ内の環境モデルで動作シミュレーションを重ねて最適制御を学習させる例が挙げられます。また、自動運転システムでの危険回避行動の事前予測や、チェス・囲碁などのゲームAIにおいて数手先を読むアルゴリズム（モンテカルロ木検索など）と組み合わせた計画立案にも活用されています。
似た用語との違い
モデルフリー強化学習との違いが挙げられます。モデルフリー強化学習は環境の予測モデルを持たず、実際に試行錯誤した経験から直接行動価値や方策を学習します。計算はシンプルですが、大量の実データが必要です。一方、モデルベース強化学習は環境モデルを構築するため、サンプル効率が高い反面、モデルの予測誤差が学習全体に悪影響を及ぼすという違いがあります。
注意点
構築した環境モデルが現実の環境と乖離している場合、モデル上では最適な行動であっても現実世界では全く機能しないという問題が生じます。また、環境モデル自体の学習や、モデルを用いた将来の計画計算に大きな計算コストがかかる点や、環境の変化が激しく不確実性が極めて高いタスクでは精度維持が困難になる点にも注意が必要です。