報酬関数
報酬関数とは、強化学習においてAIのエージェントが取るべき行動の良し悪しを数値化して評価する関数のことです。エージェントはこの報酬関数が与える数値の総和を最大化するように試行錯誤を繰り返し、最適な方策を自律的に学習します。
強化学習のAI用語一覧
9件強化学習に関するAI用語を9件掲載しています。意味や使い方、関連用語を一覧から確認できます。
マルコフ過程
マルコフ過程とは、未来の状態が現在の状態のみに依存し、過去の推移には依存しないというマルコフ性を満たす確率過程のことです。AIや強化学習において、エージェントが次に取る行動や環境の変化を確率的に予測・モデル化するための基礎理論として広く活用されています。
価値関数
価値関数とは、強化学習においてある状態や行動が将来的にどれだけの報酬をもたらすかを数値化して予測するための関数です。エージェントが最適な方策を選択するための重要な指標となります。
マルコフ決定過程
マルコフ決定過程は、環境が確率的に変化する状況下で、エージェントが最大の報酬を得るための意思決定を数学的にモデル化した枠組みです。現在の状態のみに依存して次の状態が決まるマルコフ性を特徴とし、強化学習の理論的基礎となっています。
ベルマン方程式
ベルマン方程式とは、強化学習において現在の状態の価値と、次に遷移する状態の価値との関係性を表す基本方程式です。リチャード・ベルマンによって提唱された動的計画法の基礎であり、将来得られる累積報酬（価値関数）を、現時点の即時報酬と次の状態の割引価値に分解して再帰的に定義します。Q学習などのアルゴリズムの根底を支える重要な理論です。
行動価値関数
行動価値関数とは、強化学習において特定の状態である行動を選択した際、将来得られる報酬の期待値を表す関数です。Q値とも呼ばれ、AIが最適な方策を見つけるための中心的な役割を果たします。
方策
方策とは、強化学習においてエージェントが特定の状態に直面した際、次にどのような行動を選択すべきかを決定するルールのことです。環境から得られる累積の報酬を最大化するために、学習を通じて最適化されます。ある状態に対して決定的な行動を返すものや、行動の確率分布を返すものがあり、自動運転やゲームAIなどの意思決定プロセスにおいて中核的な役割を担っています。
報酬
強化学習において、エージェントが行動を選択した結果として環境から与えられる数値的な評価信号のことです。AIは獲得する報酬の合計（累積報酬）を最大化するように試行錯誤を繰り返し、最適な行動パターン（施策）を自律的に学習します。自動運転や囲碁AI、大規模言語モデルの対話調整（RLHF）など幅広い領域で利用される重要な概念です。
マルコフ性
マルコフ性とは、あるシステムの「未来の状態」の確率分布が「現在の状態」のみに依存し、それ以前の過去の履歴には依存しないという確率過程の性質です。過去の経緯をすべて記憶しなくても現在の情報だけで未来を予測・制御できるため、強化学習やマルコフ決定過程をはじめとする機械学習モデルの設計や解析において極めて重要な前提概念となっています。