人間からのフィードバックによる強化学習
人間からのフィードバックによる強化学習（RLHF）とは、人間の選好や評価を報酬シグナルとして活用し、AIモデルの出力や挙動を人間の価値観や意図に適合させるように微調整する機械学習の手法です。生成AIの安全性や有用性を高めるために広く採用されています。
人間からのフィードバックによる強化学習とは
一言でいうと人間による評価を道しるべとしてAIの性能や安全性を望ましい方向へチューニングする技術です。
詳しく解説
大規模言語モデルなどの事前学習済みモデルは、単にインターネット上の文章を予測して生成するだけでは、倫理的に問題のある発言や誤情報を出力するリスクがあります。そこで活用されるのが人間からのフィードバックによる強化学習です。まず、AIが出力した複数の回答に対して人間が優劣を評価し、そのデータをもとに人間の好みを予測する報酬モデルを構築します。最後に、この報酬モデルからのスコアを基に強化学習アルゴリズムを用いてAIモデル自体を最適化します。これにより、AIの出力がより自然で安全になり、人間にとって使いやすいものになります。
具体例・使われ方
対話型AIにおいて、ユーザーが提示された複数の回答の中からより適切で礼儀正しいものを選択するタスクや、AIの回答に対して人間が「良い」「悪い」の評価を与えるプロセスがこれに該当します。このデータを活用して報酬モデルを学習させ、AI全体の対話品質を向上させます。
似た用語との違い
通常の強化学習がゲームの得点や迷路のゴールといった事前に定義された明確な報酬ルールに基づいて最適化するのに対し、人間からのフィードバックによる強化学習は人間の主観的な選好や価値観を報酬の代替とする点が異なります。
注意点
人間の評価者個人の偏見や文化的背景、ハルシネーションを見抜けずに誤った回答を高評価してしまうリスクが存在します。また、報酬ハッキングと呼ばれる現象により、AIが人間の好みの傾向を悪用して表面上だけ取り繕った回答を生成するようになる注意点があります。