帯域幅とは、ネットワークや通信路において一定時間あたりに転送できるデータ量の最大値を指します。AIや機械学習の分野では、大規模言語モデルの学習や分散処理において、GPU間やノード間のデータ転送速度を左右する重要な指標となります。
帯域幅とは
帯域幅とは、コンピュータネットワークや通信回線において、単位時間あたりに転送できるデータ量の最大容量を指す言葉です。「情報の道路の太さ」に例えられることが多く、この値が大きいほど一度に多くのデータをやり取りできます。
詳しく解説
AIの開発や運用において、帯域幅はモデルの学習効率や推論速度に直結する極めて重要な要素です。特に大規模言語モデル（LLM）の分散学習では、数千個のGPUが膨大なパラメータを頻繁に同期させる必要があり、ノード間の帯域幅が不足すると通信がボトルネックとなり、計算資源の稼働率が著しく低下します。そのため、高速なインターコネクト技術や高性能なネットワークスイッチの導入が不可欠となっています。
具体例・使われ方
AI分野における具体的な例として、複数のGPUを搭載したサーバー内部でのデータ転送や、クラウド上のデータセンター間で行われる大規模データセットの同期、エッジAIデバイスとクラウドサーバー間でのリアルタイムな推論データの送受信などが挙げられます。
似た用語との違い
レイテンシ（遅延）と混同されやすいですが、帯域幅が「一度に通せるデータ量（道路の幅）」であるのに対し、レイテンシは「データが目的地に届くまでにかかる時間（移動時間）」を意味します。帯域幅が広くても、レイテンシが大きい場合は通信開始までに時間がかかることがあります。
注意点
理論上の最大帯域幅と、実際にアプリケーションが利用できる実効速度（スループット）は異なる点に注意が必要です。ネットワークの混雑やパケットロス、プロトコルのオーバーヘッドなどにより、カタログスペック通りのパフォーマンスが出ない場合があります。