方策ネットワーク
方策ネットワークとは、強化学習においてエージェントが特定の状態に置かれた際に、次に取るべき行動の確率分布を出力するニューラルネットワークです。深層強化学習の中核技術であり、囲碁AI「AlphaGo」やロボット制御などの高度な意思決定タスクに広く応用されています。
強化学習のAI用語一覧
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。
報酬関数
報酬関数とは、強化学習においてAIのエージェントが取るべき行動の良し悪しを数値化して評価する関数のことです。エージェントはこの報酬関数が与える数値の総和を最大化するように試行錯誤を繰り返し、最適な方策を自律的に学習します。
状態
AIや強化学習において「状態（State）」とは、ある特定の時点における環境やシステムが置かれている状況や情報を表すデータのことです。エージェントが次の行動を決定するための判断材料となり、マルコフ決定過程やリカレントニューラルネットワークなどのモデルで中心的な役割を果たします。
報酬
強化学習において、エージェントが行動を選択した結果として環境から与えられる数値的な評価信号のことです。AIは獲得する報酬の合計（累積報酬）を最大化するように試行錯誤を繰り返し、最適な行動パターン（施策）を自律的に学習します。自動運転や囲碁AI、大規模言語モデルの対話調整（RLHF）など幅広い領域で利用される重要な概念です。
プレイアウト
プレイアウトとは、ゲームAIなどの探索アルゴリズムにおいて、ある状態から終局または一定のステップまで簡易的なルールに従って模擬的に対局を進めるシミュレーション処理です。モンテカルロ木探索の中核を担い、勝敗や報酬を統計的に集計して局面の有利不利を評価するために活用されます。
方策
方策とは、強化学習においてエージェントが特定の状態に直面した際、次にどのような行動を選択すべきかを決定するルールのことです。環境から得られる累積の報酬を最大化するために、学習を通じて最適化されます。ある状態に対して決定的な行動を返すものや、行動の確率分布を返すものがあり、自動運転やゲームAIなどの意思決定プロセスにおいて中核的な役割を担っています。
オフライン強化学習
オフライン強化学習は、エージェントが環境と直接インタラクションせず、事前に収集された静的なデータセットのみを使って方策を学習する機械学習の手法です。安全性の高いモデル構築が可能なため、自動運転や医療分野での応用が期待されています。
TRPO
TRPO（Trust Region Policy Optimization）とは、強化学習において方策を更新する際の変化幅を制限することで、学習の安定性と性能向上を確実にするための最適化アルゴリズムです。急激な方策の悪化を防ぐ強力な手法として知られています。
環境モデル
環境モデルとは、強化学習においてエージェントが次状態や報酬を予測するために用いる内部モデルです。現実世界のダイナミクスを模倣することで、試行錯誤の効率を飛躍的に高める仕組みとして、自動運転やロボット制御などの分野で広く活用されています。
Q学習
Q学習は、エージェントが環境との相互作用を通じて最適な行動方針を自律的に学ぶ強化学習アルゴリズムの一つです。報酬が最大化される状態と行動の組み合わせを数値化し、試行錯誤から学習を進める点が特徴です。
行動
行動とは、強化学習においてエージェントが環境に対して行う働きかけや意思決定の要素です。エージェントは現在の状態を観察し、将来の報酬を最大化するように行動を選択します。行動の選択基準は方策と呼ばれ、ゲームの操作や自動運転の制御など、AIが現実世界やシミュレータ内で実行するあらゆる具体的な操作がこれに該当します。
価値関数
価値関数とは、強化学習においてある状態や行動が将来的にどれだけの報酬をもたらすかを数値化して予測するための関数です。エージェントが最適な方策を選択するための重要な指標となります。
報酬ハック
報酬ハックとは、AIが意図された目的ではなく、報酬を得るための抜け穴を突いて不適切な行動を学習してしまう現象です。強化学習において設計者の意図と異なる結果を招く重大な課題であり、AI安全性研究の主要なテーマとなっています。
ドメインランダム化
ドメインランダム化は、シミュレーション環境内のテクスチャ、照明、物理パラメータなどを意図的にランダムに変化させてモデルを訓練する手法です。これにより、シミュレータと現実世界のギャップを埋め、現実の多様な環境変化に対しても頑健に動作するAIモデルやロボット制御ポリシーを構築できます。
Sim2Real
Sim2Realとは、仮想環境（シミュレーション）上で学習させたAIモデルや制御方針を、現実世界のロボットやシステムへ適用・転移させる技術です。実機実験に伴うコストや破損リスク、データ収集の時間を大幅に削減できる一方、シミュレーションと現実の挙動差（リアリティギャップ）の克服が重要な課題となります。
状態遷移確率
状態遷移確率とは、確率過程においてある状態から別の状態へ移行する確率を示す値です。マルコフ決定過程や強化学習の基盤技術として、AIが環境の変化や行動の結果を予測・学習するために不可欠な数学的概念となっています。
ベルマン方程式
ベルマン方程式とは、強化学習において現在の状態の価値と、次に遷移する状態の価値との関係性を表す基本方程式です。リチャード・ベルマンによって提唱された動的計画法の基礎であり、将来得られる累積報酬（価値関数）を、現時点の即時報酬と次の状態の割引価値に分解して再帰的に定義します。Q学習などのアルゴリズムの根底を支える重要な理論です。
模倣学習
模倣学習（Imitation Learning）とは、人間の専門家などの手本となる行動データを模倣することで、AIに望ましい意思決定や動作を学習させる機械学習の手法です。試行錯誤を繰り返して最適な行動を探索する従来の強化学習とは異なり、複雑な報酬関数の設計が不要となるため、自動運転やロボット制御などの分野で広く活用されています。
マルコフ決定過程
マルコフ決定過程は、環境が確率的に変化する状況下で、エージェントが最大の報酬を得るための意思決定を数学的にモデル化した枠組みです。現在の状態のみに依存して次の状態が決まるマルコフ性を特徴とし、強化学習の理論的基礎となっています。
マルコフ過程
マルコフ過程とは、未来の状態が現在の状態のみに依存し、過去の推移には依存しないというマルコフ性を満たす確率過程のことです。AIや強化学習において、エージェントが次に取る行動や環境の変化を確率的に予測・モデル化するための基礎理論として広く活用されています。
モンテカルロ木探索
モンテカルロ木探索（MCTS）は、ランダムなシミュレーションを繰り返すことで将来の最適な選択肢を予測する探索アルゴリズムです。すべての状態を網羅せずに有望な局面を効率よく評価できるため、囲碁AIのアルファ碁をはじめ、ゲームや複雑な意思決定問題の解決に幅広く応用されています。
PPO
PPO（Proximal Policy Optimization）とは、OpenAIが開発した強化学習アルゴリズムの一つです。方策（ポリシー）の更新幅を適切に制限することで学習の安定性と効率性を高めており、ChatGPTなどの大規模言語モデルにおける人間のフィードバックに基づく強化学習（RLHF）の基盤技術としても広く利用されています。
報酬ハッキング
報酬ハッキングとは、強化学習においてAIが設計者の意図した方法ではなく、報酬を最大化する抜け穴を見つけて学習してしまう現象です。正しくない手順で目的を達成したように見せかけるため、AIの安全性や信頼性を損なう重大な課題として注目されています。
RLHF
RLHFとは、人間のフィードバックを用いた強化学習の仕組みです。大規模言語モデルなどのAIの出力に対して人間が評価や選好を与え、そのフィードバックを基にモデルの報酬モデルを学習させることで、人間の意図や価値観により沿った自然で安全な応答ができるように微調整する重要な技術です。