オールリデュース
オールリデュース（All-Reduce）は、分散学習において複数の計算ノードが持つデータを集計・処理し、その結果をすべてのノードに等しく再配布する通信アルゴリズムです。ディープラーニングの大規模モデルを高速に並列トレーニングする際、各ノードが計算した「勾配」を同期・集約するために不可欠な基盤技術となっています。
分散学習のAI用語一覧
12件分散学習に関するAI用語を12件掲載しています。意味や使い方、関連用語を一覧から確認できます。
データ並列
データ並列とは、大規模な機械学習モデルの訓練を効率化するため、巨大な訓練データを複数の計算資源に分割し、それぞれが異なるデータを同時に処理する並列化手法です。モデル全体の構造は各デバイスに複製しつつ、計算を分散させることで学習時間を大幅に短縮できます。
通信オーバーヘッド
通信オーバーヘッドとは、複数の計算機やプロセッサ間でデータをやり取りする際に生じる、本来の計算処理以外の通信処理時間や負荷のことです。AIの分散学習などにおいて、大規模なモデルパラメータや勾配データを相互に転送・同期する際に発生し、計算リソースの利用効率を低下させる要因となります。
通信ボトルネック
通信ボトルネックとは、AIモデルの大規模化に伴い、複数のGPUやサーバー間でのデータ転送速度が計算処理の速度に追いつかず、システム全体の性能が低下する現象です。LLMの学習や推論の効率化において深刻な課題となっています。
オール・リデュース方式
オール・リデュース方式とは、分散環境における複数のGPUやノード間で、計算された勾配などのデータを効率的に集約・同期するための通信アルゴリズムです。大規模なディープラーニングモデルの学習時間を大幅に短縮するために不可欠な技術となっています。
フォールトトレランス
フォールトトレランスとは、システムの一部に障害が発生しても全体の機能を停止させず、正常な処理を継続できるように設計された耐障害性の仕組みです。大規模なAIモデルの学習や推論基盤において極めて重要です。
テンソル並列
テンソル並列とは、単一のGPUに収まらない巨大なニューラルネットワークの個々の層の重み行列（テンソル）を複数のGPUに分割して同時に計算する分散学習技術です。大規模言語モデルなどの高速かつ効率的な学習・推論を可能にします。
RDMA
RDMA（Remote Direct Memory Access）とは、CPUを介さずにネットワーク経由で離れたコンピュータ間のメモリ同士を直接データ転送する技術です。転送に伴うCPUの負荷を激減させ、低遅延かつ高スループットな通信を実現します。大規模なAIモデルの分散学習において、多数のGPU間通信を高速化するための必須基盤技術となっています。
リング型オールリデュース
リング型オールリデュースは、複数のGPUやノードの間で効率的に勾配情報を共有するための分散通信アルゴリズムです。大規模な深層学習モデルの学習において、通信のボトルネックを解消し訓練時間を大幅に短縮するために広く用いられています。
非IIDデータ
非IIDデータとは、各データの確率分布が同一ではなく、互いに独立でもないデータの状態を指します。 federated learningなどの分散学習において、参加者ごとに偏ったデータが集まる状況などで大きな課題となります。
テンソル並列化
テンソル並列化は、巨大なAIモデルの単一の重みテンソルを複数のGPUに分割して計算を高速化する分散処理技術です。パラメータ数が数十億を超える超大規模言語モデルの学習や推論において、メモリ不足を解消し効率的な処理を行うために不可欠な手法となっています。
シャーディング
シャーディングとは、巨大なデータセットやニューラルネットワークのモデルを複数の断片（シャード）に分割し、複数のハードウェアに分散して保持・処理する技術です。AI分野では、単一のメモリに収まらない大規模言語モデルの学習や推論を高速化するために不可欠な手法であり、効率的な分散学習を支える基盤技術となっています。