キャッシュメモリとは、CPUやGPUなどのプロセッサとメインメモリの間に配置される高速な小容量メモリです。よく使うデータを一時保存することで、AIモデルの学習や推論処理におけるデータ読み込みの待ち時間を短縮し、システム全体の処理効率を大きく向上させます。
キャッシュメモリとは
キャッシュメモリとは、プロセッサが頻繁にアクセスするデータやプログラムを一時的に保存しておくための、非常に高速な小容量の記憶装置のことです。
詳しく解説
コンピュータの処理速度において、プロセッサの演算スピードとメインメモリのデータ転送速度の間には大きな差が存在します。メインメモリから直接データを読み書きしていると、プロセッサはデータ待ちの時間（ボトルネック）が発生して性能を十分に発揮できません。そこで、プロセッサの内部や近傍にキャッシュメモリを配置し、次に必要となる確率が高いデータをあらかじめ保持しておくことで、データアクセスを高速化します。現代の大規模言語モデル（LLM）の学習や複雑な画像認識などのAI処理においては、膨大なパラメータやデータセットを効率的に処理する必要があるため、GPUの持つ大容量キャッシュメモリやHBM（高帯域幅メモリ）の性能が非常に重要な役割を果たしています。
具体例・使われ方
AIの推論処理において、一度読み込んだモデルの重みデータや入力されたプロンプトの一部をキャッシュメモリに保持することで、次回以降の計算時にメインメモリへアクセスする回数を減らし、応答速度を劇的に向上させます。また、TransformerモデルにおけるKVキャッシュ技術は、生成AIのテキスト生成速度を高速化する代表的な利用例です。
似た用語との違い
メインメモリ（RAM）と比較して、キャッシュメモリは容量がはるかに小さい一方で、アクセス速度が圧倒的に速いという特徴があります。また、ストレージ（SSDやHDD）は電源を切ってもデータが消えない不揮発性ですが、一般的なキャッシュメモリは揮発性であり、電源を切るとデータは消失します。
注意点
キャッシュメモリは容量に物理的な限界があるため、すべてのデータを保存することはできません。どのデータを残し、どのデータを削除するかを管理する「キャッシュアルゴリズム」の効率が悪かったり、アクセス予測が外れたりすると、ヒット率が低下して期待したほどの高速化が得られない場合があります。