状態遷移確率とは、確率過程においてある状態から別の状態へ移行する確率を示す値です。マルコフ決定過程や強化学習の基盤技術として、AIが環境の変化や行動の結果を予測・学習するために不可欠な数学的概念となっています。
状態遷移確率とは
状態遷移確率とは、ある時点の状態から次の時点の状態へ移行する確率のことです。
詳しく解説
強化学習やマルコフ決定過程においては、エージェントが環境中で行動を起こした際、現在の状態から次の状態へどのくらいの確率で移行するかを定義するために使用されます。この確率モデルを用いることで、将来の状態変化を数学的に扱い、最適な方策を計算することが可能になります。
具体例・使われ方
例えば、天候予測モデルにおいて、今日の天気が晴れであるときに翌日が雨になる確率や、迷路探索AIにおいて特定のマスから別のマスへ移動する確率などが状態遷移確率に該当します。
似た用語との違い
状態価値関数が各状態の「良さ」を長期的な報酬の期待値として表すのに対し、状態遷移率は単に状態間の移動確率そのものを指すという違いがあります。
注意点
現実の複雑な環境ではすべての状態遷移確率を正確に事前把握することが困難な場合が多く、モデルフリーな手法を用いるか、膨大なデータから推定する必要がある点に注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年8月30日 14:31