オールリデュース（All-Reduce）は、分散学習において複数の計算ノードが持つデータを集計・処理し、その結果をすべてのノードに等しく再配布する通信アルゴリズムです。ディープラーニングの大規模モデルを高速に並列トレーニングする際、各ノードが計算した「勾配」を同期・集約するために不可欠な基盤技術となっています。
オールリデュースとは
一言でいうと、分散学習を行う複数のコンピュータ間でデータを足し合わせなどの方法で集約し、その集計結果を全員が共有するための通信処理のことです。
詳しく解説
ディープラーニングのモデルが巨大化するにつれ、1枚のGPUだけでは学習が困難になりました。そこで複数のGPUや計算ノードを並列で動かす分散学習、特にデータ並列が広く用いられます。データ並列では、各ノードが異なるデータを用いてそれぞれモデルの重みに対する勾配を計算します。しかし、モデルを正しく更新するためには、全ノードの勾配の平均値を全員が共有する必要があります。この集約と全員への配布を効率的な通信プロセスにまとめたものがオールリデュースです。代表的な手法として、円状にデータを順次転送して通信ボトルネックを避けるリング型オールリデュースなどが存在し、ハードウェア間の通信帯域を最大限に活用する工夫がなされています。
具体例・使われ方
AIの超大規模言語モデル（LLM）のトレーニングにおいて、数千基のGPUを接続して学習を行う際にオールリデュースが活躍します。例えば、PyTorchのDDPや、NVIDIAの通信ライブラリであるNCCLの内部では、GPU間の勾配同期を行うためにオールリデュースが自動的に実行されます。各GPUがローカルで得た誤差の勾配を集約し、すべてのGPUのモデルパラメータを同一に更新します。
似た用語との違い
オールリデュースと混同されやすいものに、パラメータサーバー方式があります。パラメータサーバー方式では、集約と再配布を行う専用のサーバーノードを設けて通信を媒介します。これに対し、オールリデュースは中央サーバーを置かず、すべてのノードが対等に対称的な通信を行う点が異なります。また、All-Gatherという処理が単純なデータ連結であるのに対し、オールリデュースは加算や平均といった「演算」を伴う点が異なります。
注意点
分散学習を効率化するオールリデュースですが、ノード数やパラメータ数が極限まで増えると、通信ボトルネックが学習全体の処理速度を低下させる原因になります。通信の遅延や帯域幅の限界に達すると、いくら演算能力を増やしても全体の学習効率が向上しなくなります。