強化学習において、エージェントが最大の報酬を得るための最適な行動基準（最適方策）とその状態の価値（最適価値関数）の間に成り立つ関係を示した方程式です。動的計画法を基礎とし、未来の最適価値から現在の最適価値を再帰的に定義します。Q学習などの強化学習アルゴリズムの基盤となる重要な理論的基礎です。
ベルマン最適方程式とは
ベルマン最適方程式とは、強化学習においてエージェントが累積報酬を最大化する「最適な意思決定ルール（最適方策）」に従っているときに、各状態で得られる価値（最適価値関数）が満たすべき再帰的な関係式です。
詳しく解説
この方程式は、リチャード・ベルマンによって提唱された動的計画法の原理に基づいています。強化学習の目的は、ある状態において将来にわたって得られる報酬の合計（割引累積報酬）を最大化することです。ベルマン最適方程式は、「最適な行動を取り続けた場合の現在の状態の価値は、その状態で選択可能な最も価値の高い行動による即時報酬と、移動先の次の状態における最適価値の割引和に等しい」という原理を数式で表現したものです。この方程式を解くことで最適な行動を直接導き出すことが可能になりますが、状態数が膨大な実問題では解析的に解くことが難しいため、Q学習やTD学習などの強化学習アルゴリズムを用いて近似的に解を求めます。
具体例・使われ方
例えば、グリッドワールド（迷路ゲーム）でエージェントがゴールを目指す場面を考えます。各マス（状態）において、上・下・左・右のどの方向に進むのが最も早くゴールに到達できるかを決定する際、ベルマン最適方程式が背後で機能します。エージェントは各移動先のマスの最適な価値を予測し、その中で最も価値が高くなる行動を選択します。この仕組みにより、ロボットの自律走行や自動運転、ゲームAIの意思決定エンジンなどの制御システムにおいて、最適な経路選択や行動計画が実現されています。
似た用語との違い
「ベルマン期待方程式」との違いが代表的です。ベルマン期待方程式は、特定の「与えられた方策」に従った場合の価値を計算するための式です。これに対し、ベルマン最適方程式はあらゆる方策の中で「最も優れた最適方策」を選択した場合の価値を表す式であり、数式内に最大値を求める操作が含まれる点が異なります。また、実際の学習アルゴリズムである「Q学習」は、ベルマン最適方程式に基づき、試行錯誤を通じて価値関数を逐次的に更新して学習を進める手法です。
注意点
ベルマン最適方程式を直接解くためには、環境の遷移確率や報酬ルールが完全に分かっている必要があり、さらに状態数や行動数が十分に少ないことが前提となります。現実世界の複雑な課題では、状態数が膨大になるため、方程式を厳密に解くことは事実上不可能です。そのため、深層強化学習を用いてニューラルネットワークで価値関数を近似するアプローチが一般的となっています。