TD学習（Temporal Difference learning）とは、モンテカルロ法と動的計画法を組み合わせた強化学習の主要なアルゴリズムです。エピソードの完了を待たずに予測を逐次更新できる点が特徴で、Q学習などで広く応用されています。
TD学習とは
一言でいうとTD学習とは、将来の予測値と、より早い段階で得られた直近の予測値の「時間差（Temporal Difference）」を利用して、効率的に価値関数を更新していく強化学習の学習手法です。
詳しく解説
TD学習は、エージェントが環境との相互作用を通じて最適な行動方針を学ぶためのアルゴリズムです。モンテカルロ法のように結果が出るまで報酬の計算を待つ必要がなく、動的計画法のように完全な環境モデルを必要ともしません。直前の予測と、1ステップ進んだ時点での予測および報酬の差分（TD誤差）を計算し、それを基に現在の予測値を少しずつ修正します。この仕組みにより、未知の環境やエピソードが長い複雑な問題でも、リアルタイムかつ効率的に学習を進めることが可能となります。
具体例・使われ方
ゲームの勝敗予測や自動運転の経路選択などにおいて、一手の結果を次の手が出た瞬間に評価し直すような場面で利用されます。例えば、チェスやバックギャモンで「今の局面から勝てる確率」を推定し、1手進んだ後の予測との差分を使って確率の見積もりを次々に修正していくことで、高度な戦略を身につけていきます。
似た用語との違い
モンテカルロ法との最大の違いは、報酬の更新タイミングです。モンテカルロ法はエピソードが完全に終了するまで学習を行いませんが、TD学習は1ステップ進むごとに予測を更新できます。また、動的計画法は環境の完全な確率モデルが必要ですが、TD学習はモデルフリーで学習できるという違いがあります。
注意点
TD学習は学習の効率が高い一方で、初期の不正確な予測値が連鎖して更新に悪影響を与えるブートストラップ問題や、関数近似と組み合わせた際に学習が不安定になるリスクがあります。ハイパーパラメータの調整が適切でないと、最適な方策に収束しない場合があるため注意が必要です。