フラッシュデコーディング
Flash Decodingは、大規模言語モデルの生成（推論）フェーズにおける処理を高速化するための技術です。アテンション計算におけるメモリ帯域のボトルネックを解消し、特に長いプロンプトを入力した際のトークン生成速度を大幅に向上させます。
推論高速化のAI用語一覧
4件推論高速化に関するAI用語を4件掲載しています。意味や使い方、関連用語を一覧から確認できます。
投機的デコーディング
投機的デコーディングとは、大規模言語モデルのテキスト生成速度を向上させる推論高速化技術です。小型の補助モデルで仮の予測を高速に生成し、大型のメインモデルでそれを一括検証することで、出力品質を落とさずに生成時間を短縮します。
ドラフトモデル
ドラフトモデルとは、大規模言語モデルの推論を高速化する手法である投機的デコーディングにおいて、軽量で高速にテキストの仮生成を行う小型のモデルのことです。精度の高いターゲットモデルの計算量を削減しつつ出力スピードを大幅に向上させます。
PagedAttention
PagedAttentionは、大規模言語モデルの推論時にKVキャッシュを効率的に管理し、メモリの無駄をなくすことで処理速度を大幅に向上させる技術です。