ディープQネットワーク
Deep Q-Networkとは、強化学習とディープラーニングを組み合わせたアルゴリズムです。Q学習の価値関数をディープニューラルネットワークで近似することで、高次元な状態を持つ複雑な環境でも最適な方策を獲得できるようになりました。
強化学習のAI用語一覧（5ページ目）
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は5ページ目です。
方策ベース手法
方策ベース手法とは、エージェントが取る行動の確率分布である方策を直接パラメータ化して最適化する強化学習のアプローチです。連続的な行動空間や確率的な方策を扱える点が特徴で、ロボット制御などで広く活用されています。
アルファ値
アルファ値とは、機械学習や強化学習、統計解析などの分野において、モデルの更新率や学習率、あるいは正則化の強さを制御するために用いられるハイパーパラメータの一般的な総称です。
オンライン強化学習
オンライン強化学習とは、エージェントが環境と実際に相互作用しながらリアルタイムでデータを収集し、その場で方策を逐次的に更新していく学習手法です。刻々と変化する状況への適応力が高い反面、リアルタイムの試行錯誤に伴うリスクや効率面の課題が存在します。
方針ネットワーク
方針ネットワークとは、強化学習においてAIが現在の「状態」を入力として受け取り、次に取るべき最適な「行動」を選択または出力するために用いられるニューラルネットワークです。従来の価値関数に基づく手法と異なり、行動の確率分布を直接学習できるため、連続的な行動空間や複雑な意思決定問題において高いパフォーマンスを発揮します。
報酬設計
強化学習において、エージェントが望ましい行動を自律的に学習できるように、どのような行動や状態に対してどのような評価値を与えるかを定義・調整するプロセスのことです。適切な報酬設計を行わないと意図しない抜け穴を探す報酬ハッキングが生じるため、システム開発において極めて重要な工程とされています。
モデルベース
モデルベースとは、対象とする環境やシステムの振る舞いを表す内部モデルを構築し、それを利用して予測や意思決定、制御を行うアプローチです。機械学習や強化学習の分野で広く用いられ、少ない試行回数で効率的に学習できる利点がある一方、モデルの精度が全体の性能を左右するという特徴があります。
最適方策
最適方策とは、強化学習においてエージェントが特定の状態において将来得られる累積報酬を最大化するために取るべき、最も優れた行動の決定ルールのことです。環境がマルコフ決定過程として定義されるとき、価値関数などを基に導出されます。ゲームAIや自動運転などの意思決定タスクにおいて、システムのパフォーマンスを最大化するための究極の目標として位置づけられます。
深層Q学習
深層Q学習（DQN）は、試行錯誤を通じて最適な行動を学ぶ強化学習の手法であるQ学習に、深層学習（ニューラルネットワーク）を組み合わせたアルゴリズムです。従来の手法では扱えなかった複雑な画像データなどの高次元な情報から、最適な行動を自律的に学習できるため、ゲームAIやロボット制御などの多様な分野で活用されています。
方策勾配定理
方策勾配定理とは、強化学習においてエージェントの行動確率を定める方策の性能に関する期待値の勾配を、未知の環境ダイナミクスに依存せずに計算できることを示した基本定理です。
シーケンサー
シーケンサーとは、順序性を持つデータを連続して処理あるいは生成するための仕組みやモデルのことです。時系列データや自然言語処理の分野で広く活用され、前後の文脈を考慮した高度な処理を実現する基盤技術として重要な役割を担っています。
人間のフィードバックからの強化学習（RLHF）
人間のフィードバックからの強化学習（RLHF）は、AIモデルの出力に対して人間が評価や選択を行い、そのフィードバックを報酬として強化学習を進める手法です。主に大規模言語モデル（LLM）の挙動を人間の意図や倫理基準に合わせる「アライメント」に用いられ、より安全で自然な対話が可能なAIの実現に貢献しています。
自己改善
自己改善とは、AIシステムが自らの出力結果や行動を評価し、人間による大規模な介入なしに性能や精度を向上させる技術およびアプローチです。合成データの活用や自己フィードバックを通じて、データ収集や学習のコストを削減しながらモデルをより高性能化する手段として注目されています。
ディフュージョン・ポリシー
ディフュージョン・ポリシーとは、拡散モデルの生成能力を応用し、ロボットの複雑な制御や動作方策を獲得する機械学習の手法です。多様で滑らかな軌道生成を可能にし、ロボティクス分野での応用が期待されています。
リプレイバッファ
リプレイバッファとは、強化学習においてエージェントが過去に経験した状態や行動、報酬などのデータを一時的に蓄積し、ランダムにサンプリングして学習に利用する仕組みです。データの相関性を軽減し効率的な学習を可能にします。
アクター・クリティック
アクター・クリティックは、強化学習における代表的なアルゴリズムの枠組みです。行動を決定する『アクター（行動手）』と、その行動を評価する『クリティック（批評家）』という2つの役割を分けて学習を進めます。これにより、複雑な環境でも効率的かつ安定して最適な行動ルール（方策）を獲得できるのが特徴です。
ターゲットネットワーク
ターゲットネットワークとは、深層強化学習においてQ学習などの訓練を安定させるために導入される補助的なニューラルネットワークです。学習中に目標値が激しく変動する問題を解決し、AIモデルの収束性を高めるために利用されます。
ポリシー
AIや機械学習の分野におけるポリシーとは、エージェントが特定の状態においてどのような行動を選択すべきかを決定する方針やルールのことです。強化学習において最適な行動戦略を学ぶために用いられ、AIの意思決定メカニズムの核心を担います。
ポリシー勾配法
ポリシー勾配法は、強化学習においてエージェントの行動方針であるポリシーを直接パラメータ化し、報酬が最大化されるように勾配上昇法を用いて最適化するアルゴリズムの総称です。連続的な行動空間や確率的な方策を扱う問題に広く利用されています。
離散的な行動空間
離散的な行動空間とは、AIや強化学習のエージェントが選択できる行動が、互いに独立した有限個の選択肢として定義される環境のことです。「右に曲がる」「左に進む」「ジャンプする」のように、あらかじめ決められた明確な選択肢の中から一つを選ぶ場面で用いられます。
価値ベース手法
価値ベース手法は、強化学習において状態や行動の「価値」を予測し、その評価値に基づいて最適な方策を決定するアプローチです。Q学習やDeep Q-Networkなどが代表例であり、ロボット制御やゲームAIなどの分野で広く活用されています。
連続的な行動空間
連続的な行動空間とは、AIや強化学習において、行動の選択肢が連続値として無限に存在する状態や環境のことを指します。ロボット制御や自動運転など、滑らかで微細な調整が求められる複雑なタスクの学習に不可欠な概念です。
価値関数モデル
価値関数モデルとは、強化学習においてエージェントが各状態や行動の「将来得られる報酬の期待値」を予測するためのモデルです。最適な方策を決定する上で重要な役割を果たし、ロボット制御やゲームAIなど幅広い分野で活用されています。
RLAIF（AIのフィードバックからの強化学習）
RLAIF（AIのフィードバックからの強化学習）とは、従来人間の手で行われていた選好評価をAIモデルに代替させる手法です。大規模言語モデルなどの学習コストや手間を大幅に削減しつつ、高度なアライメント調整や性能向上を実現する技術として注目を集めています。