ドラフトモデルとは、大規模言語モデルの推論を高速化する手法である投機的デコーディングにおいて、軽量で高速にテキストの仮生成を行う小型のモデルのことです。精度の高いターゲットモデルの計算量を削減しつつ出力スピードを大幅に向上させます。
ドラフトモデルとは
ドラフトモデルとは、大規模言語モデル（LLM）の出力処理を高速化する「投機的デコーディング（Speculative Decoding）」において、あらかじめ仮のテキストを素早く生成する小型のAIモデルのことです。
詳しく解説
大規模言語モデルは高性能である一方、1トークンずつ順次出力するため推論に時間がかかるという課題があります。そこで、より軽量で高速なドラフトモデルを用いて複数の候補トークンを素早く仮生成し、その結果を元の大型モデル（ターゲットモデル）で一括検証します。生成された仮テキストがターゲットモデルの判定に合格すれば、1ステップで複数のトークンを処理できるため、モデル全体のスループットが大幅に向上します。
具体例・使われ方
例えば、数千億パラメータを持つ巨大なLLMで文章生成やチャット応答を行う際、数億パラメータ程度のドラフトモデルを併用します。ドラフトモデルが数文字分の仮出力を瞬時に作成し、ターゲットモデルがそれを一括で検証・承認することで、全体としての体感速度が向上します。
似た用語との違い
従来の単一の大規模言語モデルによる順次生成（オートレグレッシブ生成）とは異なり、ドラフトモデルは「仮生成」という役割に特化しています。蒸留モデルがモデル自体を軽量化・置換する手法であるのに対し、ドラフトモデルは既存のターゲットモデルと組み合わせて推論時の計算効率を高めるために動的に利用される点が異なります。
注意点
ドラフトモデルの精度が低い場合、仮生成したトークンがターゲットモデルの検証で不合格になる確率が高くなり、検証のための無駄な計算コストが増加して逆に処理が遅くなる恐れがあります。そのため、ターゲットモデルの特性や語彙体系に適合した適切な小型モデルを選定する必要があります。