テンソル並列化は、巨大なAIモデルの単一の重みテンソルを複数のGPUに分割して計算を高速化する分散処理技術です。パラメータ数が数十億を超える超大規模言語モデルの学習や推論において、メモリ不足を解消し効率的な処理を行うために不可欠な手法となっています。
テンソル並列化とは
一言でいうと、テンソル並列化とは、巨大なニューラルネットワークの1層あたりの計算や重み行列を複数のGPUに分割して同時処理させる技術です。
詳しく解説
大規模言語モデルの巨大化に伴い、モデルのパラメータを1台のGPUのメモリに載せることが困難になっています。テンソル並列化では、例えばTransformerの自己注意機構や多層パーセプトロンにおける行列積演算を分割し、複数のGPUで同時に計算を行います。Megatron-LMなどで広く採用されており、モデル並列化の一種として単一レイヤー内のテンソルを細分化することで、メモリ容量の限界を突破しつつ通信オーバーヘッドを最適化します。
具体例・使われ方
数十億から数千億のパラメータを持つ大規模言語モデルを学習させる際、1つのGPUのVRAMにモデル全体が収まらないケースで利用されます。モデルの各層の重み行列を複数のGPUに分割して配置し、フォワードパスおよびバックプロパゲーションの計算を同期させながら並列実行します。
似た用語との違い
データ並列化がデータセットを分割して各GPUに同じモデルをコピーするのに対し、テンソル並列化はモデル自体を分割して保持する点が異なります。また、パイプライン並列化が層（レイヤー）ごとにGPUを分担するのに対し、テンソル並列化は1つの層の中にある計算や重みテンソル自体を分割するのが特徴です。
注意点
GPU間の通信頻度が高くなるため、GPU間を結ぶインターコネクトの帯域幅が狭いと通信がボトルネックとなり、並列化の効率が大きく低下する点に注意が必要です。