近傍方策最適化
近傍方策最適化（PPO）は、強化学習においてエージェントの方策を安定して効率的に更新するためのアルゴリズムです。過度な方策の更新を制限する仕組みを持ち、大規模言語モデルの微調整など多様な分野で広く活用されています。
強化学習のAI用語一覧（6ページ目）
127件強化学習に関するAI用語を127件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は6ページ目です。
経験再生
経験再生とは、強化学習においてエージェントが過去の経験を一時保存し、そこからランダムにデータを抽出して学習に利用する手法です。データ間の相関を断ち切り、学習を安定させるために広く用いられています。
リプレイメモリ
リプレイメモリとは、強化学習においてエージェントが過去に経験した状態や行動、報酬などのデータを一時的に保存し、ランダムに抽出して学習に利用する仕組みです。データの相関関係を断ち切り、効率的で安定したニューラルネットワークの学習を実現するために広く用いられています。
アクター・クリティック手法
アクター・クリティック手法は強化学習アルゴリズムの一つであり、方策を改善するアクターと価値を評価するクリティックという二つの要素を組み合わせることで、効率的かつ安定した学習を実現する手法です。
ポリシーモデル
ポリシーモデルとは、AIやエージェントが特定の状況において次に取るべき行動の方針や確率を決定するためのモデルです。強化学習において環境との相互作用を通じて最適な行動を選択し、報酬を最大化する役割を担います。
ベルマン最適方程式
強化学習において、エージェントが最大の報酬を得るための最適な行動基準（最適方策）とその状態の価値（最適価値関数）の間に成り立つ関係を示した方程式です。動的計画法を基礎とし、未来の最適価値から現在の最適価値を再帰的に定義します。Q学習などの強化学習アルゴリズムの基盤となる重要な理論的基礎です。
RLAIF
RLAIFとは、人間の代わりにAIモデル（LLMなど）が生成したフィードバックを用いて強化学習を行う手法です。アノテーションコストを大幅に削減できる技術として注目されています。