強化学習

報酬

ほうしゅう · Reward
5 views

強化学習において、エージェントが行動を選択した結果として環境から与えられる数値的な評価信号のことです。AIは獲得する報酬の合計(累積報酬)を最大化するように試行錯誤を繰り返し、最適な行動パターン(施策)を自律的に学習します。自動運転や囲碁AI、大規模言語モデルの対話調整(RLHF)など幅広い領域で利用される重要な概念です。

報酬とは

強化学習において、AI(エージェント)が行った行動の良し悪しを評価するために環境から与えられる数値データのことです。

詳しく解説

強化学習では、AIであるエージェントが特定の環境内で現在の状態を観察し、行動を選択します。その行動に応じて環境から正または負の数値として報酬が返されます。エージェントの目的は、単一の行動で得られる目前の利益だけでなく、将来にわたって得られる累積報酬を最大化することです。この仕組みにより、開発者がすべての手順を明示的にプログラムしなくても、AIが自律的に試行錯誤を重ねて望ましい行動パターンを学習できます。近年では、大規模言語モデルの人間に対する親和性を高める技術であるRLHF(人間からのフィードバックによる強化学習)でも中心的な役割を果たしています。

具体例・使われ方

ゲームAIが勝利した際に正の報酬を与え、敗北した際に負の報酬(ペナルティ)を与えることで勝ち方を学習させる例があります。また、ロボットの歩行制御において、前に進んだ距離に応じて正の報酬を与え、転倒した場合に負の報酬を与えることで、スムーズな歩行動作を習得させます。

似た用語との違い

損失関数は、教師あり学習においてAIの予測と正解データの誤差を計算し、それをゼロに近づけるための指標です。これに対して報酬は、強化学習において行動の望ましさを表し、最大化を目指す指標です。また、報酬そのものは行動直後の即時的な評価を指しますが、価値関数は将来得られるであろう報酬の予測値を表します。

注意点

AIは与えられた報酬の数値を最大化することのみを追求するため、人間が意図しない裏技のような行動をとる報酬ハックと呼ばれる問題が生じることがあります。そのため、AIに望ましい行動を促すための報酬関数の設計(報酬設計)は非常に難しく、慎重に行う必要があります。

更新日時: 2026年8月27日 05:11