メモリ・ウォールとは、プロセッサの演算処理速度の向上に比べ、メインメモリからのデータ転送速度が追いつかないことで生じる性能の壁のことです。生成AIや大規模言語モデルの急拡大に伴い、膨大なデータを効率よく処理する上での大きなボトルネックとして深刻化しています。
メモリ・ウォールとは
メモリ・ウォールとは、プロセッサ（CPUやGPUなど）の計算性能の進化スピードに対し、メモリからデータを取り出す速度が遅すぎるために、プロセッサの能力が十分に発揮できなくなる現象や限界のことを指します。
詳しく解説
ディープラーニングや大規模言語モデル（LLM）の訓練・推論では、膨大なパラメータやデータを常時読み書きする必要があります。しかし、プロセッサ内部の演算器の性能がムーアの法則に沿って急速に向上してきた一方で、外部にあるDRAMなどのメモリ技術の進化速度はそれほど速くありません。この速度差が「壁」となり、演算器がデータ待ちの状態で遊んでしまう待機時間が発生します。AIモデルの巨大化が進む現代において、このメモリ・ウォールをいかに克服するかが、AIアクセラレータの性能や電力効率を左右する極めて重要な鍵となっています。
具体例・使われ方
例えば、数千億から数兆のパラメータを持つ大規模言語モデルの推論を行う際、モデルの重みデータを毎回メモリから読み込む必要があります。メモリ・ウォールが存在すると、このデータ転送が追いつかず、GPUがどれほど高速に計算できても処理全体が遅くなってしまいます。そのため、HBM（High Bandwidth Memory）という超高速メモリをプロセッサと一体化させて搭載し、データ転送の帯域幅を広げる工夫が広く行われています。
似た用語との違い
「コンピューティング性能の限界」や「ムーアの法則の限界」などと混同されがちですが、これらはプロセッサ自体の微細化やトランジスタ集積の限界を指す場合が多くあります。一方のメモリ・ウォールは、計算能力そのものではなく、プロセッサとメモリ間の『データ転送速度』に特化したボトルネックを指す点で明確に区別されます。
注意点
メモリ・ウォールはソフトウェアの最適化やアルゴリズムの工夫だけでは完全に解消できない物理的な制約を含んでいます。ハードウェアレベルでの抜本的な改革が必要であるため、次世代メモリの開発や、メモリ上で直接計算を行うPIM（Processing in Memory）などの新しいアプローチが求められていますが、コストや製造プロセスの面で高いハードルがあります。