AIの学習や出力結果の改善において、システムが提示した結果に対する評価や修正の情報を、次の行動や予測に反映させる一連のプロセス。特に「人間のフィードバックからの強化学習（RLHF）」など、AIモデルの品質や安全性を向上させるための重要な仕組みとして用いられます。
フィードバックとは
「フィードバック」とは、AIシステムが出力した結果に対して評価（正しいか、好ましいかなど）を行い、その評価情報をシステムへと差し戻して次の出力や学習の改善に活かす一連の循環プロセスのことです。
詳しく解説
機械学習におけるフィードバックは、モデルの精度を高めるために不可欠な要素です。例えば「強化学習」においては、エージェントの行動に対して環境から与えられる「報酬」がフィードバックの役割を果たします。近年では、ChatGPTなどの大規模言語モデルのチューニングにおいて、人間がAIの回答の品質や倫理性を評価し、その評価を反映させて学習を進める「人間のフィードバックからの強化学習（RLHF）」という手法が極めて重要視されています。この循環により、AIは単にデータパターンを真似るだけでなく、人間の意図（アライメント）に沿った出力を学習できます。
具体例・使われ方
具体的な例として、対話型AIにおけるユーザーからの「高評価・低評価ボタン」の入力があります。ユーザーが「この回答は役に立った」とフィードバックを送ることで、開発者はモデルのどの出力が適切であるかを分析・学習させることができます。また、画像生成AIで生成された画像に対し、ユーザーが「より写実的に」と修正指示を与えるプロセスも一種のフィードバックです。
似た用語との違い
「フィードバック」と「教師データ」の主な違いは、情報の与えられるタイミングと性質にあります。「教師データ」はあらかじめ学習の前に用意された「正解ラベル」付きの静的なデータです。一方、「フィードバック」は、AIが実際に出力を行った「後」に、その具体的な結果に対して動的に与えられる評価や修正の情報を指します。
注意点
フィードバックを利用する際の注意点として、偏ったフィードバックによる「バイアス」の発生が挙げられます。例えば、特定のユーザー層の偏好に基づいたフィードバックばかりを反映させると、AIの出力が不公平になったり、不適切な表現を学習したりするリスクがあります。また、悪意のあるユーザーによる「敵対的フィードバック」によって、システムのパフォーマンスが故意に低下させられる懸念もあります。