報酬信号とは、強化学習においてAI（エージェント）の行動の良し悪しを評価するために環境から与えられる数値データです。エージェントは得られる報酬信号の総和を最大化するように学習を進めます。適切な設計がAIの行動選択や学習の成果を大きく左右するため、強化学習の根幹をなす非常に重要な要素となっています。
報酬信号とは
報酬信号とは、強化学習においてエージェントがとった行動の良し悪しを評価するために、環境から与えられる数値データのことです。
詳しく解説
強化学習では、AIであるエージェントが試行錯誤を通じて最適な行動パターンを学習します。エージェントが特定の状態において行動を選択すると、環境はその結果に応じて報酬信号を返します。望ましい結果には正の報酬信号が、望ましくない結果には負の報酬（ペナルティ）が与えられます。エージェントは将来獲得できる報酬信号の総和を最大化するようにアルゴリズムを更新するため、適切な報酬信号を設定することがAIの学習効率や最終的な性能を左右する極めて重要な要素となります。
具体例・使われ方
例えば、ロボットの歩行制御では、前に進むと正の報酬信号が与えられ、転倒すると大きな負の報酬信号が与えられます。また、囲碁や将棋のAIプログラムでは、ゲームに勝利した瞬間に正の報酬信号が得られます。さらに、生成AIの分野では人間のフィードバックによる強化学習（RLHF）を用いて、モデルの出力に対する評価を報酬信号としてフィードバックし、応答の質を向上させる例があります。
似た用語との違い
報酬信号と混同されやすい言葉に報酬関数があります。報酬関数は「どのような状態でどのような行動をとったら、どれだけの報酬を与えるか」という計算ルールや数式そのものを指します。これに対して報酬信号は、そのルールに基づいて実際にエージェントへ送られる具体的な数値（データ）を指します。
注意点
報酬信号を設定する際には、報酬ハックと呼ばれる現象に注意が必要です。これは、エージェントが開発者の意図とは異なる抜け道を見つけ、目的を達成せずに報酬信号だけを効率よく獲得してしまう問題です。また、報酬信号が稀にしか得られない疎な報酬の環境では、学習が非常に難しくなるという限界も存在します。