モデルフリーとは、強化学習において環境の遷移確率や報酬関数などの環境モデルを事前に構築・予測せず、エージェントが行動を通じて直接的に最適な行動価値や方策を学習する手法です。試行錯誤から得られる経験データのみを頼りに学習するため、複雑でモデル化が困難な現実世界のタスクにも柔軟に適用できるという特徴があります。
モデルフリーとは
モデルフリー（Model-free）とは、強化学習におけるアプローチの一つで、意思決定を行うエージェントが『環境の仕組み（次の状態がどうなるか、どれだけの報酬が得られるか）』を予測するシミュレータ（環境モデル）を持たず、実際に試行錯誤を繰り返すことで最適な行動ルールを直接学習する手法のことです。
詳しく解説
強化学習において、エージェントが探索する対象（環境）は『状態遷移確率』と『報酬関数』によって定義されます。モデルフリーの手法では、これらの内部ダイナミクスを数式やニューラルネットワークで表現（モデル化）しようとはしません。その代わりに、環境内で実際に行動した結果得られる『状態・行動・報酬・次の状態』という経験データを大量に収集し、価値関数や方策（ポリシー）を直接更新します。代表的なアルゴリズムには、Q学習（Q-learning）やSARSA、DQN（Deep Q-Network）、さらにはPolicy Gradient法やPPOなどがあります。環境モデルを構築するための高度な知識や設計が不要であるため、ルールが複雑なゲームや、物理現象を完全にシミュレートすることが難しい複雑な現実世界のタスクに対して強力なアプローチとなります。
具体例・使われ方
モデルフリーの具体的な応用例としては、囲碁や将棋などのボードゲーム、あるいはアーケードゲーム（ATARI）をプレイするAIが挙げられます。ゲームのルールや盤面の変化を予測する複雑な物理・論理モデルを構築することなく、実際にゲームを何百万回も繰り返しプレイ（試行錯誤）し、勝敗という報酬から直接的に強い打ち方を学習します。また、ロボットの制御において、摩擦や風の抵抗などの物理的な環境モデルを正確に構築できない場合でも、実機や高精度物理シミュレータ上での試行錯誤を通じて最適な動作を学習する際にも利用されています。
似た用語との違い
モデルフリーと対比される概念に『モデルベース』があります。モデルベース強化学習では、エージェントが環境の挙動（次の状態や報酬）を予測する『環境モデル』を学習または事前に保持します。このモデルを用いて脳内でシミュレーション（計画）を行い、効率的に学習を進めます。モデルベースは少ない試行回数（サンプル効率が良い）で学習できる一方、モデルが不正確な場合に性能が著しく低下するという欠点があります。これに対して、モデルフリーは環境モデルを作らないため、モデルの不正確さに起因するバイアス（モデル誤差）を受けず、十分な試行錯誤ができる環境であれば極めて高い性能に到達できるという違いがあります。
注意点
モデルフリーの最大の限界は、学習に膨大な試行錯誤（サンプル数）が必要となる『サンプル効率』の悪さです。環境モデルを持たないため、事前に頭の中でシミュレーションすることができず、あらゆるパターンを実際に試す必要があります。そのため、実世界の自動運転や医療機器の制御など、1回の失敗が重大な事故につながる領域や、試行に時間・コストがかかりすぎる環境では、純粋なモデルフリーの手法をそのまま適用することは非常に困難です。