行動価値関数とは、強化学習において特定の状態である行動を選択した際、将来得られる報酬の期待値を表す関数です。Q値とも呼ばれ、AIが最適な方策を見つけるための中心的な役割を果たします。
行動価値関数とは
一言でいうと行動価値関数とは、ある状況で「その行動をすると、将来どれくらい良いことが起きるか」の期待値を数値化する仕組みです。
詳しく解説
強化学習の目的は、エージェントが環境の中で試行錯誤しながら、最大の報酬を得られる方策を見つけることです。行動価値関数（Q関数）は、状態sにおいて行動aを選択したときに得られる将来の報酬の総和の期待値を計算します。この関数を学習・更新していくことで、どの行動を選択するのが最適かを判断できるようになります。代表的な手法としてQ学習などが挙げられます。
具体例・使われ方
迷路探索を行うAIを例にします。ある分岐点（状態）で「右に進む」という行動をとったとき、その先に行き止まりがなくゴールに近づける見込みが高い場合、その「右に進む」という選択に対する行動価値関数の値（Q値）は高く評価されます。AIはこの値を基準にして、最も価値の高い行動を選びます。
似た用語との違い
状態価値関数と混同されやすいですが、状態価値関数が「ある状態の良さ」だけを評価するのに対し、行動価値関数は「ある状態で特定の行動をとることの良さ」を評価する点に違いがあります。
注意点
状態や行動の数が非常に多い複雑な問題では、すべての組み合わせに対して行動価値関数を正確に計算・保存することが困難になります。そのため、ディープラーニングと組み合わせた近似手法を用いるなどの工夫が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年8月28日 14:41