直接選好最適化（DPO）とは、人間の好みに合わせて大規模言語モデルを調整するアライメント手法の一つです。従来のRLHFのように独立した報酬モデルを学習させずに、人間の選好データから直接モデルを最適化できるため、学習の安定性と計算効率が大幅に向上します。
直接選好最適化とは
直接選好最適化（DPO）とは、人間のフィードバックデータを用いて、複雑な強化学習の手続きを経ずに言語モデルの出力を直接調整する手法です。
詳しく解説
大規模言語モデルの出力品質や安全性を高めるアライメントの標準手法として、従来はRLHFが広く用いられてきました。しかし、RLHFはプロンプトに対する望ましい回答と望ましくない回答を評価する「報酬モデル」を個別に構築し、さらにPPOなどの複雑な強化学習アルゴリズムを適用する必要があり、学習の不安定さやハイパーパラメータ調整の難しさが課題でした。これに対し直接選好最適化は、報酬モデルの数学的表現を言語モデルの出力確率に直接置き換えることで、報酬モデルの学習と強化学習のステップを完全に省略します。その結果、通常の教師あり学習と同様のシンプルな損失関数を用いて、人間の好みに合致する出力を効率的かつ安定して学習させることが可能となりました。
具体例・使われ方
例えば、質問に対して「親切で正確な回答A」と「不親切で誤りを含む回答B」のペアを用意した場合、DPOを用いることで、モデルが回答Aを生成する確率を高め、回答Bを生成する確率を下げるように直接調整できます。これにより、AIアシスタントのトーンを丁寧にする調整や、危険な質問への拒絶応答を学習させる場面などで幅広く活用されています。
似た用語との違い
混同されやすいRLHFとの最大の違いは、報酬モデルの有無と学習プロセスです。RLHFでは「報酬モデルの訓練」と「強化学習によるポリシー最適化」という複数の段階が必要ですが、直接選好最適化はこれらを統合し、単一の交差エントロピー損失に似た計算で直接最適化を行います。そのため、実装が容易で計算コストを抑えやすいという特徴があります。
注意点
DPOは高品質な選好データ（対になった比較データ）に依存するため、データの質が低いとモデルの性能が著しく低下します。また、強化学習のように動的に未知の出力を探索・評価するプロセスが存在しないため、元のモデルの能力を大きく超えるような新しい挙動の獲得には限界がある点に留意が必要です。