モデルフリー強化学習は、環境の動作モデルを事前に仮定せず、試行錯誤を通じて得られる経験のみから最適な方策を学習する手法です。複雑な実世界の問題に広く応用されますが、多くのデータが必要になるという特徴があります。
モデルフリー強化学習とは
一言でいうと、環境の仕組み（ルール）を事前に知ることなく、実際に試して得た経験から直接最適な行動を学ぶ強化学習のアプローチです。
詳しく解説
強化学習において、環境がどのように変化し、次にどんな報酬が与えられるかを表した関数を「環境モデル」と呼びます。モデルフリー強化学習では、このモデルを構築・推定しません。代わりに、エージェントが環境と実際に対話し、得られた状態、行動、報酬の軌跡から直接、価値関数や方策関数を更新します。環境の数学的モデルが未知であるか、あるいはモデル化が極めて困難な複雑な問題に対して非常に有効であり、近年の深層学習との組み合わせによって高度な制御やゲームAIの実現に貢献しています。
具体例・使われ方
囲碁やチェスなどのゲームAIが、ルールは知っていても次にどう相手が動くかのモデルを持たず、自分自身と数百万回対局することで最適な戦略を身につける過程が代表的です。また、ロボットが未知の環境で転ばないように試行錯誤しながら歩行を習得する際にも用いられます。
似た用語との違い
環境モデルをあらかじめ持っている、または学習の過程で環境モデルを構築・利用する「モデルベース強化学習」と対比されます。モデルベースが事前に予測シミュレーションを行って効率的に計画を立てるのに対し、モデルフリーはシミュレーションを行わず直接試行錯誤を行う点が異なります。
注意点
環境モデルを利用しないため、最適な方策を見つけるまでに膨大な数の試行錯誤（データ）が必要になる点に注意が必要です。現実世界のロボットなど、試行に時間やコストがかかる場面や、失敗が許されない状況での適用は難易度が高くなります。