メモリ帯域とは、メモリとプロセッサ（GPUなど）の間で1秒間に転送できるデータの最大量を示す指標です。大量のパラメータやデータを扱うディープラーニングの処理において、計算速度を左右する極めて重要な要素となります。メモリ帯域が狭いと、高性能な演算器を十分に活かせず、処理のボトルネックが発生します。
メモリ帯域とは
メモリ帯域（メモリバンド幅）とは、コンピュータ内のメモリ（主記憶装置）とプロセッサ（CPUやGPUなど）の間で、1秒間に転送できるデータの最大量を表す指標です。AI処理におけるデータの「道路の広さ（車線数）」に例えられ、データ転送の速さを示します。
詳しく解説
ディープラーニングなどの大規模なAIモデルの学習や推論では、膨大なパラメータや中間データを常にメモリとプロセッサ間でやり取りする必要があります。このとき、計算装置の処理能力がどれだけ高くても、データの転送速度が追いつかなければプロセッサはデータ待ち状態になり、処理全体が遅れてしまいます。これをメモリ転送におけるボトルネックと呼びます。近年、AI向けハードウェアとして標準的になっているGPUでは、従来のDDRメモリに比べて圧倒的に広いメモリ帯域を持つHBM（高帯域幅メモリ）などの技術が採用されています。AIの性能向上には、演算性能を高めることと同時に、メモリ帯域を拡張してデータ供給能力を高めることが不可欠です。
具体例・使われ方
大規模言語モデル（LLM）の推論処理において、メモリ帯域は処理性能を直接左右する要因となります。特に「自動生成」のフェーズでは、1トークンを出力するたびにモデルの全パラメータをメモリからロードする必要があるため、GPUの純粋な計算能力よりも、メモリ帯域の太さが生成スピード（トークン数/秒）に直結します。
似た用語との違い
「メモリ帯域」と「メモリ容量」は混同されやすいですが、明確な違いがあります。メモリ容量はメモリ内に保存できるデータの総量（ギガバイト：GBなどで表す）であり、「本棚に収納できる本の量」に例えられます。一方で、メモリ帯域は1秒間に転送できるデータの量（ギガバイト毎秒：GB/sなどで表す）であり、「本棚から机へ本を運ぶ通路の広さや速度」に例えられます。大規模なモデルを動かすには、十分なメモリ容量と、それを高速に処理するためのメモリ帯域の両方が必要となります。
注意点
メモリ帯域の数値（カタログスペック）は理論上の最大値であり、実際のプログラムの実行においては効率的なメモリアクセスパターンが組まれていないと、実効帯域は大幅に低下します。また、どれほどメモリ帯域が広くても、モデルのサイズに対してメモリ容量自体が不足している場合は、プログラムを実行することすらできません。