人間からのフィードバックによる機械学習
人間からのフィードバックによる機械学習（RLHF）とは、人間の評価や好みを報酬信号として用いることで、AIモデルの出力を用途や倫理観に適合させる学習手法です。大規模言語モデルなどの安全性や有用性を高めるために不可欠な技術として広く活用されています。
人間からのフィードバックによる機械学習とは
一言でいうと、AIの出力を人間が評価・修正し、その好ましい結果を学習させることで、人間の意図に沿った自然で安全な応答ができるようにチューニングする強化学習手法です。
詳しく解説
RLHFの仕組みは主に3つのステップで構成されます。まず、ベースとなる大規模言語モデル（LLM）にあらかじめ様々なプロンプトを入力し、その出力に対する人間の選好データを収集します。次に、その人間が選んだ好ましい応答の傾向を学習した「報酬モデル」を構築します。最後に、報酬モデルが与えるスコアを最大化するように、近傍方策最適化などの強化学習アルゴリズムを用いてAIモデルのパラメータを調整します。単なる確率的な予測テキストの生成にとどまらず、人間の価値観や倫理観に沿った振る舞いを獲得できるため、生成AIの品質向上において非常に重要な役割を果たしています。
具体例・使われ方
対話型AIにおいて、複数の出力候補から人間が「より丁寧で安全な回答」を選び、それをAIに学習させることでハルシネーションや不適切な表現を抑制する用途などで利用されています。
似た用語との違い
従来の教師あり学習や純粋な強化学習とは異なり、正解データや数式的な報酬が定義しにくい「人間の好み」や「主観的な安全性」を最適化の基準にする点が大きく異なります。
注意点
人間の評価者個人のバイアスや偏見が報酬モデルを介してAIに引き継がれてしまうリスクがあります。また、悪意のある入力によって有害な出力を選好するような誘導が行われると、安全性が損なわれるおそれがあるため注意が必要です。