人間のフィードバックからの強化学習（RLHF）
人間のフィードバックからの強化学習（RLHF）は、AIモデルの出力に対して人間が評価や選択を行い、そのフィードバックを報酬として強化学習を進める手法です。主に大規模言語モデル（LLM）の挙動を人間の意図や倫理基準に合わせる「アライメント」に用いられ、より安全で自然な対話が可能なAIの実現に貢献しています。
人間のフィードバックからの強化学習（RLHF）とは
「人間のフィードバックからの強化学習（RLHF）」とは、AIの出力に対して人間が「どちらが優れているか」「適切か」といった評価（フィードバック）を行い、その評価を報酬信号として機械学習モデルに学習させる強化学習の手法です。
詳しく解説
RLHFは、従来の損失関数や単純なルールだけでは定義が難しい「人間にとっての自然さ」や「安全性」をAIに学習させるために開発されました。一般的なプロセスでは、まず事前学習されたベースモデルを用意します。次に、同じ入力に対してモデルが生成した複数の出力候補に対し、人間の評価者が順位付けやスコアリングを行います。このデータを用いて「報酬モデル」を構築し、最後にその報酬モデルを使ってPPO（近接方策最適化）などの強化学習アルゴリズムによりメインのAIモデルを微調整（ファインチューニング）します。これにより、AIの回答が人間の価値観に適合する「アライメント」が達成されます。
具体例・使われ方
ChatGPTなどの大規模言語モデル（LLM）の調整において、有害な発言の抑制や、ユーザーの指示に親切かつ正確に従うアシスタントの開発に広く使われています。たとえば、爆弾の作り方を尋ねられた際に「答えられません」と拒否する倫理観や、質問の意図を正確に捉えたわかりやすい返答の生成がRLHFによって実現されています。
似た用語との違い
通常の「強化学習」では、チェスやゲームのように環境が明確なルールと報酬（勝敗など）を自動で提供しますが、RLHFではその報酬を人間の判断を模した「報酬モデル」から得ます。また、単なる「教師あり学習」が正解データを模倣するのに対し、RLHFは複数の選択肢から好ましいものを選択させることで、より高度なニュアンスや好みを反映できる点で異なります。
注意点
RLHFは強力ですが、いくつかの課題もあります。評価を行う人間の主観やバイアスがAIに反映されてしまうリスクがあるほか、評価データの収集に多大なコストと時間がかかります。また、人間が好む「表面的に丁寧で賢そうに見えるが内容は誤っている」出力をAIが学習してしまう「お世辞行動」やハルシネーションなどの問題も指摘されています。