分散学習のAI用語一覧

データ並列

データ並列とは、大規模な機械学習モデルの訓練を効率化するため、巨大な訓練データを複数の計算資源に分割し、それぞれが異なるデータを同時に処理する並列化手法です。モデル全体の構造は各デバイスに複製しつつ、計算を分散させることで学習時間を大幅に短縮できます。