Flash Decodingは、大規模言語モデルの生成（推論）フェーズにおける処理を高速化するための技術です。アテンション計算におけるメモリ帯域のボトルネックを解消し、特に長いプロンプトを入力した際のトークン生成速度を大幅に向上させます。
フラッシュデコーディングとは
一言でいうと、大規模言語モデルのテキスト生成スピードを劇的に向上させるための並列化アルゴリズムおよび最適化技術です。
詳しく解説
大規模言語モデルの推論には、プロンプトを読み込む「プリフィルフェーズ」と、1トークンずつ出力する「デコードフェーズ」があります。デコードフェーズでは、出力トークンが増えるたびに過去のキー・バリュー（KV）キャッシュをメモリから読み込む必要があり、メモリ帯域幅がボトルネックになります。Flash Decodingは、このKVキャッシュを複数のGPUブロックに分割（パラレル化）して並列にアテンション計算を行い、その結果を統合する仕組みです。これにより、長いコンテキストを扱う際の大幅な高速化を実現しています。
具体例・使われ方
長文のドキュメントを読み込ませた後に質問応答を行うケースや、膨大な過去の会話履歴をコンテキストとして保持するチャットボットシステムなどで利用されます。特に生成AIの応答待ち時間が長いと感じられる場面において、実用的な速度でテキストを出力させるために活用されています。
似た用語との違い
事前学習や通常の注意機構の計算効率化で広く使われるFlashAttentionと混同されやすいですが、FlashAttentionが主にプリフィルフェーズや標準的なアテンション計算の高速化に主眼を置いているのに対し、Flash Decodingは特に並列度が低くなりがちなデコードフェーズの効率化に特化している点が異なります。
注意点
GPUのアーキテクチャやハードウェアの構成、バッチサイズ、コンテキストの長さによって得られる速度向上の度合いが変動します。また、実装や利用するフレームワークによっては追加の設定や互換性の確認が必要となる点に注意が必要です。