HBM（High Bandwidth Memory）は、AI処理に不可欠な大規模データを高速に転送するための高性能な積層型メモリ技術です。従来のメモリに比べて圧倒的な帯域幅を実現し、LLMなどの大規模言語モデルの学習や推論の高速化に広く採用されています。
高帯域幅メモリとは
一言でいうとHBMとは、複数のDRAMチップを垂直に積み重ねることで、AIやディープラーニングの処理でボトルネックになりやすいデータの転送速度を劇的に向上させた次世代の半導体メモリです。
詳しく解説
HBMは、シリコン貫通電極（TSV）という微細な接続技術を用いて、複数のDRAMダイを垂直方向に積み重ねてパッケージングしています。これにより、プロセッサであるGPUとメモリ間のデータバス幅を非常に広く取ることが可能となり、従来の平面的なメモリと比較して圧倒的な高帯域幅と省電力性を実現しています。近年の生成AIやディープラーニングの急激な発展に伴い、扱われるデータ量が膨大になったため、計算処理を行うGPUの性能だけでなく、データを供給するHBMの性能がAIシステムの全体性能を左右する極めて重要な要素となっています。
具体例・使われ方
NVIDIAのH100やB200などの最先端AIアクセラレータや、各社のディープラーニング向けGPUに搭載され、巨大なパラメータを持つ大規模言語モデルの学習や高速な推論処理を支える基盤技術として利用されています。
似た用語との違い
一般的なPCやサーバーで使用されるDDRメモリや、グラフィックスカード向けのGDDRメモリと比較して、HBMは基板上にGPUとダイレクトに近接配置、あるいは同一のパッケージ内に統合（2.5D/3Dパッケージング）されます。これにより、圧倒的な広帯域幅を実現する一方で、製造コストや発熱管理の難易度が非常に高くなるという違いがあります。
注意点
HBMは非常に高い性能を持つ一方で、製造プロセスが複雑であり、歩留まりの改善やサプライチェーンの確保が難しいという課題があります。また、高度なパッケージング技術を要するため、従来のメモリに比べてコストが大幅に高くなる点に注意が必要です。