プロセス報酬モデル（PRM）は、大規模言語モデル（LLM）などのAIが推論や計算を行う際、最終的な出力結果だけでなく、思考の「中間ステップ（プロセス）」ごとに評価・報酬を与える仕組みです。複雑な数学の問題や論理的推論において、途中の思考プロセスの誤りを早期に検出・修正し、最終的な出力の信頼性を大幅に向上させます。
プロセス報酬モデルとは
一言でいうと、AIの推論プロセスにおける「途中の思考ステップ」を1つずつ評価し、正しい思考の道筋を導き出すための報酬モデルです。
詳しく解説
従来の強化学習では、生成された最終回答に対してのみ評価（報酬）を与える「結果報酬モデル」が主流でした。しかし、複雑な多段階の推論を必要とするタスクでは、途中で間違った論理を展開したにもかかわらず、偶然に正しい最終回答に到達してしまう「ハルシネーション」や、逆に正しいプロセスを踏んだのに最後に計算ミスをして全体が誤りと判定される問題がありました。プロセス報酬モデルは、思考の各ステップに対して個別にスコアを付与します。これにより、AIはどの段階で思考が誤ったのかを正確に把握し、より論理的で正確な推論を実行できるようになります。特に、推論ステップを可視化する「思考の連鎖」と組み合わせることで高い効果を発揮します。
具体例・使われ方
例えば、複雑な数学の証明問題をAIに解かせる場合を考えます。AIが10行のステップを経て回答を導き出す際、プロセス報酬モデルは3行目で生じた符号の誤りを即座に検知し、マイナスのスコアを与えます。これにより、モデルは誤った前提に基づいた無駄な計算を続けることなく、正しいステップに軌道修正することができます。
似た用語との違い
類似する概念に「結果報酬モデル」があります。結果報酬モデルは最終的な出力結果のみを正誤判定するため、そこに至るプロセスが不適切であっても結果が合っていれば高評価を与えてしまいます。一方、プロセス報酬モデルはプロセス自体を評価するため、途中の論理破綻（ハルシネーション）を見逃さず、より厳密な評価が可能です。また、学習に用いる「人間のフィードバックからの強化学習」においても、プロセス全体へのフィードバックと結果のみへのフィードバックというアプローチの違いがあります。
注意点
課題として、思考のステップごとに細かく評価ラベルを付与する必要があるため、学習データの作成コスト（アノテーションコスト）が非常に高い点が挙げられます。また、どの単位を「1ステップ」と定義するかの基準設計が難しく、タスクやドメインごとにモデルの調整が必要になります。さらに、プロセス自体を評価するためには、AIの思考プロセスが「思考の連鎖」などの形で明示的にテキスト出力されている必要があります。