RLHFとは、人間のフィードバックを用いた強化学習の仕組みです。大規模言語モデルなどのAIの出力に対して人間が評価や選好を与え、そのフィードバックを基にモデルの報酬モデルを学習させることで、人間の意図や価値観により沿った自然で安全な応答ができるように微調整する重要な技術です。
RLHFとは
一言でいうと、RLHFとは「人間の評価を教師信号としてAIモデルの振る舞いを望ましい方向へ最適化する強化学習の技術」です。
詳しく解説
大規模言語モデルは膨大なテキストデータから次の単語を予測するように事前学習されますが、これだけでは人間にとって不適切や有害な応答を生成することがあります。そこで、事前学習済みのモデルに人間のフィードバックを組み込む段階が導入されます。まず、人間の選好データを収集して報酬モデルを訓練し、その報酬モデルが出すスコアを最大化するように強化学習アルゴリズム（PPOなど）を用いてモデルを微調整します。これにより、AIの出力品質が大きく向上し、人間の倫理観や安全性に配慮した実用的なモデル作成が可能になります。
具体例・使われ方
ChatGPTなどの対話型AIにおいて、ユーザーが提示した複数の回答候補の中からより適切で自然な回答を選んだり、有害な発言を拒否したりする挙動の調整に利用されています。また、コード生成AIにおいて、人間がデバッグしやすい可読性の高いコードを出力するように最適化する際にも活用されます。
似た用語との違い
純粋な教師あり学習とは異なり、正解データを直接与えて学習させるのではなく、人間が選んだ望ましい出力に対する評価（報酬）を基準に最適化する点が異なります。また、事前学習がインターネット上の膨大なテキストの統計的学習であるのに対し、RLHFはその後の段階で行われるファインチューニングの手法の一つです。
注意点
人間の評価者に依存するため、評価者の主観や偏見、文化的バイアスがAIの出力に反映されてしまうリスクがあります。また、報酬モデルをハッキングするようにAIが予期せぬ行動をとる報酬ハックや、過剰に安全性を意識して有用な回答まで拒否してしまうオーバーリフューザルといった課題も存在します。