ベルマン方程式とは、強化学習において現在の状態の価値と、次に遷移する状態の価値との関係性を表す基本方程式です。リチャード・ベルマンによって提唱された動的計画法の基礎であり、将来得られる累積報酬（価値関数）を、現時点の即時報酬と次の状態の割引価値に分解して再帰的に定義します。Q学習などのアルゴリズムの根底を支える重要な理論です。
ベルマン方程式とは
ベルマン方程式とは、意思決定プロセスにおいて「現在の状態の価値」を、「現時点で得られる即時報酬」と「将来得られる状態の期待価値」の和として再帰的に表した方程式です。
詳しく解説
強化学習におけるエージェントは、環境と相互作用しながら累積報酬を最大化する方策を学習します。このとき、ある状態で将来にわたって得られる報酬の予測値を「価値関数」と呼びます。ベルマン方程式は、この価値関数を「現在の即時報酬」と「割引率を掛けた次の状態の価値」に分解することで、複雑な長期予測を1ステップずつの逐次的な関係に落とし込みます。これにより、無限に続く未来の予測を有限の方程式として解くことが可能になります。主に「ベルマン期待方程式」と、最適化された状態を表す「ベルマン最適方程式」の2種類があり、強化学習の基本的なアルゴリズム（Q学習やSARSAなど）は、この方程式を反復的に解くことで最適方策を導き出します。
具体例・使われ方
グリッドワールド（格子状の迷路）を移動するロボットの学習を例に挙げます。ゴールに到達すると高い即時報酬が得られます。ロボットは、ゴールに近いマス（状態）ほど「価値が高い」と判断します。ベルマン方程式を用いることで、ロボットはゴールから数歩離れた位置にいる場合でも、「隣のマスに移動すれば高い価値が得られるため、今のマスの価値も比較的高い」と計算できます。このように、目標から逆算して各状態の価値を伝播させ、最適な移動経路（方策）を決定します。
似た用語との違い
ベルマン方程式とマルコフ決定過程（MDP）は混同されやすいですが、マルコフ決定過程は確率的な状態遷移と報酬を伴う問題設定そのもののフレームワークを指します。一方、ベルマン方程式は、そのマルコフ決定過程で定義された問題において、価値関数の関係性を記述し、数学的に解くための具体的な方程式です。また、ハミルトン・ヤコビ・ベルマン（HJB）方程式は、ベルマン方程式を連続時間および連続状態空間に拡張した極限の形を指します。
注意点
ベルマン方程式を直接計算して厳密解を求めるには、環境のすべての状態遷移確率と報酬構造（環境モデル）が既知である必要があります。しかし、現実の大規模な問題やゲームでは、状態数が膨大になる「次元の呪い」や、環境モデルが未知であるため、厳密な計算は不可能です。そのため、深層強化学習（DQNなど）では、ニューラルネットワークを用いて価値関数を近似する手法が取られます。