モデル並列化とは、巨大なニューラルネットワークのモデルを複数のGPUやノードに分割して配置し、並行して計算を行う手法です。単一のデバイスのメモリ容量では収まらない大規模なモデルを効率的に訓練・実行するために不可欠な技術として、近年の生成AI開発などで広く活用されています。
モデル並列化とは
モデル並列化とは、巨大なAIモデルの層やパラメータを複数の計算デバイスに分割して配置し、並行処理を行う手法のことです。
詳しく解説
近年のディープラーニングモデルはパラメータ数が数千億から数兆に達し、単一のGPUが持つVRAM容量ではモデル全体をメモリ上に読み込めないケースが頻発しています。モデル並列化では、ネットワークの異なる層や演算ブロックを複数のデバイスに割り当て、データを順次受け渡しつつ計算を進めます。これにより、単体ではメモリ不足エラーになる巨大なネットワーク構造の訓練や推論が可能になります。
具体例・使われ方
例えば、数千億のパラメータを持つ大規模言語モデル（LLM）を学習させる際、Transformerの各層をGPU1、GPU2、GPU3に分割して配置します。入力されたデータはGPU1で最初の層の計算を行った後、その結果をGPU2へ転送して次の層の計算を行うというパイプライン処理や、テンソル単位で計算を細かく分割するテンソル並列化として実装されます。
似た用語との違い
データ並列化が「同一のモデルを複数のデバイスにコピーし、データを分割して同時に計算する」手法であるのに対し、モデル並列化は「モデルそのものを分割して複数のデバイスに配置する」点に大きな違いがあります。モデルが大きすぎて入らない場合はモデル並列化、モデルは入るがデータ量が膨大な場合はデータ並列化が選ばれます。
注意点
デバイス間で頻繁に中間データを送受信するため、デバイス間の通信速度がボトルネックになりやすい点に注意が必要です。通信遅延が大きい環境では、全体の処理効率がかえって低下する恐れがあります。