シミュレータ
シミュレータとは、現実世界の物理現象やシステムを計算機上で模倣・予測するソフトウェアや装置のことです。AI分野、特に強化学習やロボティクスの開発において、安全かつ高速に大量の試行錯誤データを収集するための環境として不可欠です。実機を破壊するリスクなく、現実では困難な極端な環境変化も再現してAIモデルを学習させることができます。
強化学習のAI用語一覧（3ページ目）
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は3ページ目です。
障害物回避
障害物回避とは、移動ロボットや自動運転システムがセンサーで周囲の環境を認識し、進路上の物体を検知して衝突を避けるための技術です。AIやセンサーフュージョンを活用することで、動的な障害物に対してもリアルタイムで安全なルートを再計画することが可能です。
逆強化学習
逆強化学習とは、熟練者や生物などの行動履歴（軌跡データ）を観察し、その行動の背後にある「目的や価値基準（報酬関数）」を推定する機械学習の手法です。手動での設計が難しい目標評価をデータから逆算して獲得できます。
AlphaGo Zero
AlphaGo Zeroは、人間の棋譜データを使用せず、強化学習と自己対戦のみによって囲碁のプロ棋士を圧倒するレベルに到達した画期的な人工知能システムです。事前の知識に頼らないことで従来のAIを超える能力を獲得しました。
モンテカルロツリー探索
モンテカルロツリー探索（MCTS）とは、ランダムなシミュレーションを繰り返すことで有望な選択肢を評価・決定する探索アルゴリズムです。盤面の厳密な評価が難しい複雑なゲームでも有効に機能し、AlphaGoなどのAIシステムの中核技術として広く活用されています。
方策反復
方策反復とは、強化学習においてエージェントの行動方針である方策の評価と改善を交互に繰り返すことで、最適な行動方針を求めるアルゴリズムです。環境のダイナミクスが既知のマルコフ決定過程において理論的な最適解を導くために用いられます。
動作計画
動作計画とは、ロボットやAIエージェントが、障害物を避けながら出発地から目的地まで安全に移動するための経路や行動の順序を計算し決定する技術です。自動運転車や産業用ロボット、強化学習の分野などで広く応用されています。
TD誤差
TD誤差とは、強化学習において現在の状態や行動の価値の予測値と、実際に行動して得られた即時報酬および次の状態の予測価値から計算される目標値との差分です。エージェントはこの誤差を手がかりに価値関数を逐次更新し、環境内での最適な行動方針を効率的に学習します。
TD学習
TD学習（Temporal Difference learning）とは、モンテカルロ法と動的計画法を組み合わせた強化学習の主要なアルゴリズムです。エピソードの完了を待たずに予測を逐次更新できる点が特徴で、Q学習などで広く応用されています。
人間からのフィードバックによる強化学習
人間からのフィードバックによる強化学習（RLHF）とは、人間の選好や評価を報酬シグナルとして活用し、AIモデルの出力や挙動を人間の価値観や意図に適合させるように微調整する機械学習の手法です。生成AIの安全性や有用性を高めるために広く採用されています。
協調行動
協調行動とは、複数のAIエージェントやロボットが互いに情報を共有し協力しながら、単体では達成困難な共通の目標を効率的に成し遂げるための仕組みです。マルチエージェントシステムにおいて重要な役割を果たし、自動運転や物流最適化など多分野で応用が進んでいます。
探索空間
探索空間とは、AIや機械学習において問題解決のために考えられるすべての選択肢や解の候補が集まった領域のことです。ハイパーパラメータや行動の取り得る範囲全体を指し、効率的な探索を行うことで最適なモデルや方針を発見します。
人間のフィードバックからの強化学習
人間のフィードバックからの強化学習（RLHF）は、AIモデルの出力に対して人間の評価（フィードバック）を与え、それを基にモデルの挙動を最適化する機械学習の手法です。特に大規模言語モデルの安全性や実用性を向上させ、人間の意図に沿った回答を出力させる「アライメント」を達成するための基盤技術として広く活用されています。
DQN
DQN（Deep Q-Network）は、強化学習のアルゴリズムであるQ学習に深層学習（ディープラーニング）を組み合わせた手法です。Google DeepMind社が開発し、アタリ社のゲームを人間以上の精度でプレイしたことで一躍注目を集めました。複雑で高次元な画像などの状態空間を直接扱えることが特徴です。
価値反復
価値反復は、強化学習や動的計画法において、マルコフ決定過程（MDP）における最適な状態価値関数および最適方策を算出するための基本的なアルゴリズムです。環境の遷移確率や報酬関数といったモデルが既知である場合に、ベルマン最適方程式に基づく更新式を反復計算することで、各状態における期待報酬の最大値を収束させて求めます。
Sim-to-Realギャップ
Sim-to-Realギャップとは、コンピュータ上のシミュレーション環境で学習させたAIモデルやロボットの制御方針を現実世界に適用する際に生じる、性能や動作のズレや乖離のことです。摩擦や照明変化など物理世界の複雑さを完全に模倣できないことが原因であり、ロボティクスや強化学習の分野で実用化に向けた大きな課題となっています。
オラクル
AIや機械学習の分野におけるオラクルとは、すべての最適解や正解を知っている理想的な情報源や環境を指す抽象概念です。アルゴリズムの性能限界を評価したり、理論上の最適戦略を導き出したりするための比較基準として用いられます。
アクター・クリティック法
アクター・クリティック法は、強化学習において行動を決定する「アクター（行動手）」と、その行動の良し悪しを評価する「クリティック（評価手）」の2つの役割に分けて学習を進める手法です。これにより、方策勾配法と価値関数に基づくアプローチの長所を組み合わせることができ、効率的かつ安定した学習が可能になります。
アルファ碁
アルファ碁は、Google DeepMindが開発した囲碁対局AIです。ディープラーニングとモンテカルロ木探索、強化学習を組み合わせることで、膨大な盤面パターンを持つ囲碁において人間のトッププロ棋士に勝利し、AI史における大きな金字塔を打ち立てました。
試行錯誤
試行錯誤とは、目的の解決策を得るために、さまざまな方法を実際に試して失敗と成功を繰り返しながら最適な行動パターンを学習するアプローチです。AI、特に強化学習の分野において、エージェントが環境と相互作用しながら報酬を最大化するための基本原理となっており、事前知識がない未知の環境での学習において不可欠な役割を果たします。
人間フィードバックによる強化学習
人間フィードバックによる強化学習（RLHF）とは、人間の評価データを活用してAIモデルの出力精度や安全性を高める機械学習の手法です。大規模言語モデルなどの出力に対して人間が良し悪しを評価し、その基準に基づいて報酬モデルを学習させ、AIを調整します。AIの意図しない挙動や不適切な発言を抑え、人間の価値観に合わせた出力（アライメント）を実現する重要な技術です。
人間からのフィードバックによる機械学習
人間からのフィードバックによる機械学習（RLHF）とは、人間の評価や好みを報酬信号として用いることで、AIモデルの出力を用途や倫理観に適合させる学習手法です。大規模言語モデルなどの安全性や有用性を高めるために不可欠な技術として広く活用されています。
ダブルDQN
Double DQNは強化学習手法のDQNにおける過大評価バイアスを軽減し、安定した学習を実現するためのアルゴリズムです。行動選択と価値評価のネットワークを分離することで、より正確な報酬予測を可能にします。
モデルフリー
モデルフリーとは、強化学習において環境の遷移確率や報酬関数などの環境モデルを事前に構築・予測せず、エージェントが行動を通じて直接的に最適な行動価値や方策を学習する手法です。試行錯誤から得られる経験データのみを頼りに学習するため、複雑でモデル化が困難な現実世界のタスクにも柔軟に適用できるという特徴があります。