モデル並列
モデル並列とは、単一のGPUなどのハードウェアメモリに収まらない巨大なAIモデルを複数のプロセッサに分割して配置し、協調して学習や推論を行う分散処理手法です。大規模言語モデルなどの巨大化に伴い、メモリ不足を解消して計算を実行するために不可欠な技術となっています。データ並列と組み合わせて活用されます。
分散処理のAI用語一覧
2件分散処理に関するAI用語を2件掲載しています。意味や使い方、関連用語を一覧から確認できます。
分散処理に関するAI用語を2件掲載しています。意味や使い方、関連用語を一覧から確認できます。
モデル並列とは、単一のGPUなどのハードウェアメモリに収まらない巨大なAIモデルを複数のプロセッサに分割して配置し、協調して学習や推論を行う分散処理手法です。大規模言語モデルなどの巨大化に伴い、メモリ不足を解消して計算を実行するために不可欠な技術となっています。データ並列と組み合わせて活用されます。
パラメータサーバとは、分散学習において大規模な機械学習モデルのパラメータ（重みやバイアス）を一元管理・更新するためのアーキテクチャまたはコンポーネントです。複数の計算ノードが並列で処理を行う際、モデルパラメータを効率的に共有・同期することで、巨大なディープラーニングモデルなどの学習時間を大幅に短縮できます。