経験再生とは、強化学習においてエージェントが過去の経験を一時保存し、そこからランダムにデータを抽出して学習に利用する手法です。データ間の相関を断ち切り、学習を安定させるために広く用いられています。
経験再生とは
一言でいうと経験再生とは、過去の行動データをためておき、ランダムに引き出して学習を繰り返すことで、効率的かつ安定した強化学習を実現する仕組みです。
詳しく解説
深層強化学習では、エージェントが環境と相互作用しながら得た「状態」「行動」「報酬」「次の状態」という一連のデータを時系列順に学習へ用いることが一般的です。しかし、連続するデータ同士には強い相関関係があり、そのまま学習させるとモデルが特定の偏った状態に過剰適応してしまうという問題がありました。経験再生は、この過去の経験を大規模なメモリ（リプレイバッファ）に蓄積し、そこから無作為にデータをサンプリングしてミニバッチを構成します。これによりデータの時間的相関が取り除かれ、独立同分布に近い状態で学習できるため、ニューラルネットワークのパラメータ更新が非常に安定するという重要性を持っています。
具体例・使われ方
代表的な利用例として、アタリのビデオゲームや囲碁などのボードゲームをプレイする深層強化学習AIが挙げられます。例えば、エージェントがゲーム内で移動した数千ステップ分の画面情報やスコア変動の履歴をメモリに保存しておき、学習時には過去のピンチな場面や成功した場面のデータをランダムに呼び出してニューラルネットワークの重みを更新します。これにより、直近の経験だけでなく過去の重要な経験も忘れることなく学習に活かすことができます。
似た用語との違い
通常のオンライン強化学習では、エージェントが経験したデータをその場で一度だけ使用してすぐに捨ててしまうため、データの再利用ができず相関の問題も解決できません。一方、経験再生を用いる手法では、過去のデータを保存して何度も繰り返し学習に利用できるため、サンプル効率が大幅に向上するという違いがあります。
注意点
注意点として、メモリ消費量が大きくなる点が挙げられます。膨大な過去データをリプレイバッファに保持し続ける必要があるため、大規模な問題では多くの計算リソースやメモリが必要となります。また、優先順位付き経験再生などの高度な手法を用いない場合、すでに価値を失った古いデータや重要度の低いデータも均等にサンプリングされてしまい、学習の効率が低下するリスクもあります。