状態価値関数
状態価値関数とは、強化学習において、エージェントがある特定の状態にいるとき、その後に得られる将来の累積的な報酬の期待値を表す関数です。特定の方策に従って行動した際に、その状態がどれだけ有利であるかを定量化します。意思決定の基準となる重要な概念であり、最適な行動方針を導き出すための基盤として機能します。
強化学習のAI用語一覧（2ページ目）
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は2ページ目です。
マルコフ性
マルコフ性とは、あるシステムの「未来の状態」の確率分布が「現在の状態」のみに依存し、それ以前の過去の履歴には依存しないという確率過程の性質です。過去の経緯をすべて記憶しなくても現在の情報だけで未来を予測・制御できるため、強化学習やマルコフ決定過程をはじめとする機械学習モデルの設計や解析において極めて重要な前提概念となっています。
バリュー
AI分野における「バリュー」は主に2つの文脈で使われます。一つは強化学習における報酬の期待値を示す価値関数であり、もう一つはAIプロダクトやデータ活用がビジネスにもたらす価値そのものを指します。AIの意思決定や投資対効果を評価する上で不可欠な概念です。
シミュレーション環境
シミュレーション環境とは、現実世界の物理現象や特定のシステム挙動をコンピュータ上で模擬した仮想環境です。AIやロボットの学習を安全、高速、低コストに行う基盤として活用されます。
制御
AIにおける制御とは、学習したモデルやエージェントの出力や行動を目的の方向へ導き、安全かつ意図通りに動作させるための技術や仕組みです。自律システムやロボティクスにおいて、暴走を防ぎ最適な結果を得るために欠かせない要素となります。
シミュレーター
シミュレーターとは、現実世界や物理法則、複雑なシステムの挙動をコンピュータ上で模倣し、安全かつ効率的に実験や検証を行うための環境やソフトウェアのことです。AIの学習や自動運転の検証などに広く活用されています。
ドメインランダマイゼーション
ドメインランダマイゼーションは、シミュレーション環境でAIを学習させる際、摩擦や照明、物体のテクスチャなどのパラメータをランダムに変更し、現実世界への適応力を高める手法です。仮想環境と現実環境の差（Sim2Realギャップ）による性能低下を防ぎ、未知の環境に対しても高い汎化性能を持つモデルの構築を可能にします。
方策勾配法
方策勾配法とは、強化学習においてエージェントの行動決定基準である「方策」を直接パラメータ化し、得られる報酬の期待値を最大化するように最適化する手法です。価値関数を経由せずに連続的な行動空間に対応できるため、ロボット制御やゲームAIなどの複雑なタスクで広く活用されています。
動的計画法
動的計画法は複雑な問題を小さな部分問題に分割し、それぞれの解を記録しながら効率的に全体の最適解を導くアルゴリズム手法です。AI分野では強化学習や経路探索などの最適化問題で広く活用されています。
即時報酬
強化学習において、エージェントが特定の状態からある行動を選択した直後に、環境から即座に与えられるフィードバック（報酬）のことです。エージェントの行動選択がどれほど適切だったかを局所的に評価する指標であり、長期的視点を考慮した累積報酬を最大化するための基礎的な構成要素として機能します。
価値ネットワーク
価値ネットワークは、強化学習や深層強化学習において特定の状態から将来得られる期待報酬や勝率を評価するニューラルネットワークです。盤面などの状態を入力とし、その状態の優劣を示すスコアを出力します。方針ネットワークやモンテカルロ木検索と組み合わせることで、囲碁などの複雑なゲームや最適な意思決定問題で高い成果を上げています。
自然勾配法
自然勾配法とは、パラメータ空間のユークリッド距離ではなく確率分布間の距離に着目してパラメータを更新する最適化アルゴリズムです。通常の勾配降下法がパラメータの取り方に影響を受けやすいのに対し、情報幾何学の知見を活用して最適な更新方向を決定します。強化学習のポリシーグラディエント法などで学習を安定化させるために広く応用されています。
ゲーム木
ゲーム木とは、ボードゲームなどの対戦において、現在の状態から将来のすべての手番と状態の変化を樹形図として表現したものです。AIが最適な手を選ぶための探索アルゴリズムの基礎となり、チェスや囲碁などの意思決定に不可欠な仕組みです。
報酬モデル
報酬モデルとは、AIの出力に対して人間にとって望ましい度合いを数値で評価する仕組みです。大規模言語モデルの微調整や強化学習において、人間の価値観や意図に沿った回答を生成するために欠かせない重要な役割を担っています。
行動価値関数
行動価値関数とは、強化学習において特定の状態である行動を選択した際、将来得られる報酬の期待値を表す関数です。Q値とも呼ばれ、AIが最適な方策を見つけるための中心的な役割を果たします。
エントロピー正則化
エントロピー正則化とは、機械学習モデルの過剰適合を防ぎ、出力の多様性を促すために損失関数にエントロピー項を追加する手法です。モデルが特定の予測に固執することを防ぎ、探索能力や汎化性能を高めるために用いられます。
許容性
AIや数理最適化における許容性とは、設定された制約条件やルールをすべて満たしている状態や性質のことです。強化学習や探索問題において、エージェントが取るべき行動や解が有効であるかどうかを判断するための重要な基準となります。
単一エージェント強化学習
単一エージェント強化学習は、意思決定を行う主体（エージェント）が環境内に1つだけ存在する状況で、試行錯誤を通じて最適な行動ルールを学習する手法です。他の自律的なエージェントとの相互作用を考慮する必要がないため、数理的な定式化や学習の収束が比較的容易であり、強化学習の最も基礎的な枠組みとして広く利用されています。
結果報酬モデル
結果報酬モデルとは、AIが生成した回答や出力の最終結果に対して評価を与える報酬モデルです。強化学習において出力全体の正誤や品質に基づいて評価を行い、大型言語モデルの回答精度や安全性の向上に寄与します。途中の推論プロセスではなく最終出力のみを判定対象とする点が特徴です。
シミュレータ
シミュレータとは、現実世界の物理現象やシステムを計算機上で模倣・予測するソフトウェアや装置のことです。AI分野、特に強化学習やロボティクスの開発において、安全かつ高速に大量の試行錯誤データを収集するための環境として不可欠です。実機を破壊するリスクなく、現実では困難な極端な環境変化も再現してAIモデルを学習させることができます。
モデル予測制御
モデル予測制御とは、システム挙動の物理モデルを用いて将来の振る舞いを予測し、制約を満たしながら最適な制御入力を決定する制御手法です。ロボティクスや自動運転、AIとの融合による高度な応用で広く活用されています。
障害物回避
障害物回避とは、移動ロボットや自動運転システムがセンサーで周囲の環境を認識し、進路上の物体を検知して衝突を避けるための技術です。AIやセンサーフュージョンを活用することで、動的な障害物に対してもリアルタイムで安全なルートを再計画することが可能です。
逆強化学習
逆強化学習とは、熟練者や生物などの行動履歴（軌跡データ）を観察し、その行動の背後にある「目的や価値基準（報酬関数）」を推定する機械学習の手法です。手動での設計が難しい目標評価をデータから逆算して獲得できます。
シム・トゥ・リアル
Sim-to-Realとは、コンピュータ内の仮想環境で学習させたAIモデルや制御ポリシーを、現実世界の物理環境へそのまま適用する技術およびそのアプローチのことです。ロボット工学や自動運転の開発において、現実での試行錯誤コストや危険性を大幅に削減できる手法として注目されています。