バンド幅とは、単位時間あたりに転送できるデータ量の最大値を指します。AIや機械学習の分野においては、ネットワークの通信速度だけでなく、GPUとメモリ間などのデータ転送能力を表す極めて重要な指標として扱われ、大規模モデルの学習や推論の処理性能を左右します。
バンド幅とは
バンド幅とは、一定の時間内にネットワークやデバイスの間で転送できるデータの最大容量を意味します。AIの領域では、通信ネットワークの速度だけでなく、プロセッサ内部のメモリ帯域幅を指すことが多く、AIシステムの全体的な処理効率を大きく左右する要素です。
詳しく解説
AIにおけるバンド幅の重要性は、巨大なパラメータを持つ深層学習モデルの学習や実行に伴い急激に高まっています。例えばGPUを用いた計算では、膨大なデータをプロセッサとメモリ間で絶えず往復させる必要があります。このときのバンド幅が不足すると、演算器自体の性能が高くてもデータを待つ時間が生じ、システム全体のボトルネックとなります。そのため、高バンド幅メモリ(HBM)の採用など、ハードウェアの転送能力を向上させる技術が不可欠となっています。
具体例・使われ方
具体的な利用例としては、最新のAI向けアクセラレータにおける高バンド幅メモリ(HBM)の搭載が挙げられます。また、複数のGPUやサーバーを接続して大規模言語モデルを分散学習させる際、ノード間のネットワークバンド幅が学習速度に直接影響します。
似た用語との違い
レイテンシ（遅延）と混同されやすいですが、バンド幅が「一度に運べるデータの量」であるのに対し、レイテンシは「データが目的地に届くまでにかかる時間」を指します。大容量のデータを扱うAIでは両方が重要ですが、それぞれ異なる特性を持ちます。
注意点
仕様上のバンド幅の数値が高くても、実際のシステムではソフトウェアの最適化不足や他のボトルネックによってその性能を十分に発揮できない場合があります。また、単一の指標だけでAIハードウェアの優劣を判断することはできません。