逆強化学習とは、熟練者や生物などの行動履歴（軌跡データ）を観察し、その行動の背後にある「目的や価値基準（報酬関数）」を推定する機械学習の手法です。手動での設計が難しい目標評価をデータから逆算して獲得できます。
逆強化学習とは
逆強化学習は、エキスパートの行動データから「どのような目的（報酬関数）に基づいて動いていたのか」を逆算・推定する学習手法です。
詳しく解説
通常の強化学習では、あらかじめ人間が設計した報酬関数をもとに、エージェントが試行錯誤して最適な方策を獲得します。しかし、自動運転や複雑な作業のように、何が最適な状態かを数式で定義することが困難なタスクも少なくありません。そこで逆強化学習では、熟練者のデモ走行や行動履歴を入力とし、マルコフ決定過程の枠組みなどを利用して、その行動を最もよく説明できる報酬関数を推定します。推定された報酬を用いることで、環境の変化にも適応しやすい汎用的な強化学習が可能になります。
具体例・使われ方
代表的な応用例として、自動運転における熟練ドライバーの運転特性の再現があります。速度維持、車間距離、乗り心地などの複雑な優先順位を報酬関数として推定し、人間らしい滑らかな運転を実現します。また、ロボットアームによる繊細な組み立て作業や、ゲームAIにおけるプレイスタイルの模倣、動物の行動パターンの分析などにも活用されます。
似た用語との違い
混同されやすい概念に「行動クローニング」をはじめとする一般的な模倣学習があります。単純な行動クローニングは「この状態ではこの行動を取る」という対応関係（方策）を直接学習するため、未経験の状況に直面した際に破綻しやすい弱点があります。一方、逆強化学習は行動の意図や目的そのものを報酬関数として学習するため、環境のルールや初期条件が変わっても柔軟に対応しやすいという違いがあります。
注意点
逆強化学習には、観測された行動を説明できる報酬関数が無数に存在し得る「解の不定性」という数学的な課題があります。また、熟練者の行動データにミスや非効率な動きが含まれていると、誤った意図を学習してしまうリスクがあります。さらに、報酬関数の推定とその後の学習に多大な計算コストがかかる点にも注意が必要です。