テンソル並列とは、単一のGPUに収まらない巨大なニューラルネットワークの個々の層の重み行列（テンソル）を複数のGPUに分割して同時に計算する分散学習技術です。大規模言語モデルなどの高速かつ効率的な学習・推論を可能にします。
テンソル並列とは
テンソル並列は、モデルの1つのレイヤー内にある重み行列を細かく分割し、複数のプロセッサで同時に演算を行う分散学習の手法です。
詳しく解説
ディープラーニングモデルのパラメータ数が急増するなか、単一の計算機（GPU）のメモリ容量を超える大規模言語モデルを扱う必要性が高まりました。テンソル並列では、線形変換やアテンション層の行列積を複数のGPUへ列方向または行方向に分割して割り当てます。これにより各GPUが部分的な演算を担当し、直後に演算結果を同期（All-Reduceなど）して統合します。層をまたがずに同一層内で並列化を行うため、メモリ消費を大幅に削減しつつ高速な処理を実現できる点が重要です。
具体例・使われ方
例えば、Transformerモデルにおける多頭注意機構（Multi-Head Attention）の各ヘッドの計算を別々のGPUに割り当てて同時に実行するケースや、大規模言語モデルの推論エンジン（vLLMなど）で応答速度を向上させるために同一ノード内の複数GPUへモデルを展開するケースで広く利用されています。
似た用語との違い
テンソル並列と混同されやすい概念に「データ並列」や「パイプライン並列」があります。データ並列はモデル全体を各GPUにコピーして異なるデータを並列処理する手法であり、モデルが単一GPUに収まることが前提です。一方、パイプライン並列はモデルの層ごとにGPUを分担して順番に処理を流す手法です。テンソル並列は「単一の層の内部」を行列レベルで分割する点でこれらと異なります。
注意点
テンソル並列は層ごとに頻繁な通信が発生するため、GPU間の帯域幅が極めて重要になります。ノード間をまたぐネットワークでは通信オーバーヘッドがボトルネックになりやすいため、通常はNVLinkなどで高速に接続された同一ノード内のGPU間での適用が推奨されます。また、分割単位を適切に設定しないと計算効率が低下する場合もあります。