行動空間
行動空間とは、強化学習においてAIエージェントが環境に対して選択できるすべての行動の集合を指します。AIがどのような操作や選択を行えるかを定義する重要な要素であり、タスクの難易度や学習効率に大きな影響を与えます。
強化学習のAI用語一覧（4ページ目）
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は4ページ目です。
DeepMind
DeepMindは、イギリスのロンドンを拠点とする世界的な人工知能の研究開発企業です。強化学習と深層学習を組み合わせた技術で知られ、囲碁のAI「AlphaGo」やタンパク質構造予測の「AlphaFold」など、科学やゲームの分野で数々の画期的な成果を挙げています。
局所的ルール
局所的ルールとは、AIや複雑系モデルにおいて、全体の大域的な目標を直接指定するのではなく、個々のエージェントや要素が周囲の狭い範囲の情報だけに基づいて判断・行動するための規則のことです。群知能や強化学習などで多く用いられます。
オフラインティーチング
オフラインティーチングとは、実環境や実機を直接操作せず、シミュレーターや過去のデータセットを用いてAIやロボットの動作を学習・指導する手法です。安全かつ効率的なモデル構築が可能であり、強化学習や産業用ロボットの分野で広く活用されています。
方針勾配法
方針勾配法とは、強化学習においてエージェントの行動方針を直接パラメータ化し、得られる報酬の期待値を最大化するように勾配降下法を用いて学習を行う手法です。複雑な環境や連続値の行動空間において高い柔軟性を持ち、様々なロボット制御やゲームAIなどの応用で広く活用されています。
ポリシーグラディエント法
ポリシーグラディエント法は、強化学習においてエージェントの行動方針を直接パラメータ化し、報酬を最大化するように勾配降下法（正確には勾配上昇法）を用いて学習を行う手法の総称です。連続的な行動空間を扱える点や、確率的な方策を直接表現できる点が特徴です。
多腕バンディット問題
多腕バンディット問題とは、複数の選択肢の中から報酬が最も高いものを効率的に探すための強化学習における数学的モデルです。未知の選択肢を試す「探索」と、これまでの経験で得た最善の選択肢を続ける「利用」のバランスを最適化する手法として活用されています。
モデルフリー強化学習
モデルフリー強化学習は、環境の動作モデルを事前に仮定せず、試行錯誤を通じて得られる経験のみから最適な方策を学習する手法です。複雑な実世界の問題に広く応用されますが、多くのデータが必要になるという特徴があります。
近接方策最適化
近接方策最適化（PPO）は、強化学習においてAIモデルの学習速度と安定性を両立させるための代表的な方策勾配アルゴリズムです。旧来の手法よりも計算効率が高く実装が容易であるため、大規模言語モデルの人間によるフィードバックからの強化学習（RLHF）をはじめ、ロボット制御やゲームAIなど幅広い分野で広く採用されています。
プロセス報酬モデル
プロセス報酬モデル（PRM）は、大規模言語モデル（LLM）などのAIが推論や計算を行う際、最終的な出力結果だけでなく、思考の「中間ステップ（プロセス）」ごとに評価・報酬を与える仕組みです。複雑な数学の問題や論理的推論において、途中の思考プロセスの誤りを早期に検出・修正し、最終的な出力の信頼性を大幅に向上させます。
報酬信号
報酬信号とは、強化学習においてAI（エージェント）の行動の良し悪しを評価するために環境から与えられる数値データです。エージェントは得られる報酬信号の総和を最大化するように学習を進めます。適切な設計がAIの行動選択や学習の成果を大きく左右するため、強化学習の根幹をなす非常に重要な要素となっています。
PPO（Proximal Policy Optimization）
PPO（Proximal Policy Optimization）は、強化学習において広く用いられる方策勾配法アルゴリズムです。学習時のポリシー（方策）の更新幅を一定範囲に制限（クリップ）することで、急激なパラメータ変化による学習の不安定化を防ぎます。実装の容易さと優れた学習の安定性・効率性を兼ね備え、LLMのRLHFなどでも活用されています。
DDPG
DDPG（Deep Deterministic Policy Gradient）とは、連続値の行動空間を持つ環境に対して効率的な学習を行う、ディープラーニングを活用した強化学習アルゴリズムの一つです。Q学習と方策勾配法を組み合わせたアクター・クリティック方式を基盤としています。
確率論確率論的ポリシー
確率論的ポリシーとは、強化学習においてエージェントが次に取る行動を確率的に決定する方針のことです。常に同じ行動を選ぶのではなく、状態に応じて複数の行動に確率を割り当てることで、未知の環境の探索を効率的に行える点が特徴です。
深層Qネットワーク
深層Qネットワークとは、強化学習にディープラーニングを組み合わせることで、複雑な環境下での意思決定を可能にしたアルゴリズムです。エージェントが試行錯誤を通じて最適な行動を学習し、ゲームの攻略やロボット制御などで高い成果を上げています。
自律制御
自律制御とは、人間が介入することなく、AIやロボット自身が環境の変化を認識してリアルタイムに判断を下し、目的を達成するためのシステムや技術のことです。工学や自動運転車、ドローンなど幅広い分野で活用されています。
バッチ強化学習
バッチ強化学習は、環境とのインタラクションを行わず、事前に収集された過去のデータセットのみを用いて方策を学習する機械学習の手法です。オンラインでの試行錯誤が難しい現実世界の医療や金融などの分野で、安全かつ効率的なモデル構築が可能です。
バンディットアルゴリズム
バンディットアルゴリズムは、限られた試行回数の中で、どの選択肢が最も高い報酬をもたらすかを効率的に探りながら利益を最大化する機械学習の手法です。未知の選択肢を試す「探索」と、これまでの実績に基づいて最善を選ぶ「利用」のバランスを最適に調整する特徴を持ちます。
リワード
リワード（報酬）とは、強化学習においてエージェントが行動をとった際、その行動の良し悪しを評価するために環境から与えられる数値データです。AIモデルは累積リワードが最大化するように試行錯誤を繰り返すことで、最適な行動ルール（方策）を学習します。ゲームのスコアや制御の成功判定など、AIを特定の目的へ導くための道標となります。
モデルベース強化学習
モデルベース強化学習とは、エージェントが行動する環境の仕組み（環境モデル）を学習し、そのモデルを用いて将来の行動結果を予測・計画しながら学習を進める強化学習の手法です。試行錯誤の回数を大幅に削減できるため高いサンプル効率を実現し、ロボット制御やシミュレーション分野で注目を集めています。
マルチエージェント強化学習
マルチエージェント強化学習（MARL）とは、複数の自律的なエージェントが共通の環境内で同時に学習を行い、協調や対戦を通じて最適な行動方針を獲得する技術です。従来の単一エージェント強化学習と異なり、他者の行動が環境変化に影響を与えるため、ロボット群の制御や交通流の最適化、ゲームAIなどで幅広く応用されています。
優先順位付き経験再生
優先順位付き経験再生は、強化学習においてエージェントの学習効率を大幅に高めるための技術です。過去の経験データのなかから、学習にとって重要な意味を持つ重要なデータや珍しいデータを高い頻度でサンプリングし、効率的なパラメータ更新を実現します。
決定論的ポリシー
決定論的ポリシーとは、強化学習において状態が入力された際、確実かつ常に同一の行動を選択する方針のことです。確率的に行動を選ぶ確率論的ポリシーとは異なり、同じ状況では常に同じ出力を行うため予測可能性が高い特徴を持ちます。
確率的ポリシー
確率的ポリシーとは、強化学習においてエージェントが特定の状態から行動を決定する際、行動を直接1つに固定せず、複数の取りうる行動に対してそれぞれ確率を割り当てる方針のことです。探索と利用のバランスを取りやすくする重要な手法です。