KVキャッシュとは、大規模言語モデルが文章を生成する際に、過去に計算したKey（鍵）とValue（値）の中間データを保持して再利用する技術です。毎回最初から計算し直す無駄を省くことで、文章の生成速度を大幅に向上させます。長文生成時の応答時間を短縮し、計算リソースを効率化するために不可欠な手法です。
KVキャッシュとは
KVキャッシュとは、大規模言語モデルがテキストを生成する際、すでに計算済みのKeyとValueと呼ばれる中間表現をメモリ上に保持し、計算の重複を避けることで応答速度を高速化する機構です。
詳しく解説
トランスフォーマー構造を採用した大規模言語モデルでは、自重み付け機構であるアテンション機構を用いて単語間の関係性を計算します。文章を1単語ずつ順番に生成する自己回帰型の生成過程では、過去に生成したすべての単語のアテンション計算に必要なKeyとValueのデータが必要です。KVキャッシュを使用しない場合、新しい単語を1つ生成するたびに過去の全単語のデータを最初から再計算する必要があります。KVキャッシュは過去の単語のKeyとValueをメモリ上に保持しておくことで、新しく追加された単語の計算のみで済むようにし、推論の処理効率を劇的に向上させます。
具体例・使われ方
例えば、チャットボットが長文の回答をリアルタイムで生成する場面で活用されます。ユーザーとの会話履歴が長くなった場合でも、KVキャッシュにより過去の文脈に関する計算結果が再利用されるため、文字がスムーズに画面に表示されます。また、大量のアクセスを処理するAPIサーバーにおいて、推論コストの削減と応答速度の維持のために標準的に組み込まれています。
似た用語との違い
一般的なWebシステムにおけるデータベースキャッシュやメモリキャッシュが検索結果そのものを保存するのに対し、KVキャッシュはモデル内部のアテンション機構で使う数学的な中間計算結果を保存します。また、プロンプト全体の入力をキャッシュするコンテキストキャッシュと異なり、生成の1ステップごとに蓄積される計算データを動的に保持する点で役割が異なります。
注意点
KVキャッシュは計算速度を向上させる一方で、生成するテキストの長さや同時に処理するリクエスト数に応じて膨大なGPUメモリを消費します。メモリ容量を超過するとモデルの動作が停止したり、処理性能が低下したりするため、メモリを効率的に管理するPageAttentionなどの技術と併用することが重要です。