CUDA
CUDAとは、NVIDIAが開発したGPU向けの汎用並列コンピューティングプラットフォームおよびプログラミングモデルです。AI開発やディープラーニングの学習・推論において不可欠な技術であり、大量の数値を高速に処理することを可能にします。
GPUのAI用語一覧
14件GPUに関するAI用語を14件掲載しています。意味や使い方、関連用語を一覧から確認できます。
通信ボトルネック
通信ボトルネックとは、AIモデルの大規模化に伴い、複数のGPUやサーバー間でのデータ転送速度が計算処理の速度に追いつかず、システム全体の性能が低下する現象です。LLMの学習や推論の効率化において深刻な課題となっています。
オール・リデュース方式
オール・リデュース方式とは、分散環境における複数のGPUやノード間で、計算された勾配などのデータを効率的に集約・同期するための通信アルゴリズムです。大規模なディープラーニングモデルの学習時間を大幅に短縮するために不可欠な技術となっています。
メモリ容量
AIの学習や推論において、モデルのパラメータやデータを一時的に保持できるデータ量を指します。特にGPUメモリ容量は、大規模言語モデルの処理性能や扱えるバッチサイズを決定する重要な指標です。
Tensorコア
Tensorコアは、NVIDIAのGPUに搭載されているディープラーニングおよび行列演算処理に特化した専用演算ユニットです。積和演算を高速かつ効率的に実行できるよう設計されており、混在精度演算を活用することで、従来のCUDAコアと比較してAIモデルの学習や推論の処理速度を飛躍的に向上させます。
高帯域幅メモリ
HBM（High Bandwidth Memory）は、AI処理に不可欠な大規模データを高速に転送するための高性能な積層型メモリ技術です。従来のメモリに比べて圧倒的な帯域幅を実現し、LLMなどの大規模言語モデルの学習や推論の高速化に広く採用されています。
メモリ帯域幅
メモリ帯域幅とは、コンピュータのプロセッサとメモリ間でデータを転送できる速度の限界を示す指標です。AIの学習や推論において大規模なモデルやデータを扱う際、この帯域幅の広さが処理速度を大きく左右する重要な要素となります。
学習時間
学習時間とは、AIや機械学習モデルがデータからパターンや規則性を習得するために要する処理時間を指します。モデルの規模、データ量、GPUなどの計算資源によって大きく変動し、開発効率やコストに直結する重要な要素です。
NVSwitch
NVSwitchとは、NVIDIAが開発した高速なGPU間通信を実現するためのスイッチチップです。複数のGPU間を超高速かつ低遅延で接続することで、大規模なAIモデルの学習やHPC処理においてボトルネックを解消し、システム全体を一つの巨大な仮想GPUとして効率的に動作させることが可能になります。
PCI Express
PCI Expressは、コンピュータのマザーボード上でCPUとGPUやSSDなどの周辺機器を高速に接続するための拡張バス規格です。近年の生成AIの学習や推論において、膨大なデータを高速にやり取りするための基盤技術として不可欠な存在となっています。
CUDAコア
CUDAコアは、NVIDIA社のGPUに搭載されている並列計算用の演算プロセッサです。CPUとは異なり、数千個以上の単位で搭載され、大量の単純演算を同時に実行することを得意とします。3Dグラフィックスだけでなく、ディープラーニングの高速化に欠かせない基本コンポーネントであり、現代のAI技術を支えるハードウェアの基盤となっています。
DGX
DGXは、NVIDIAが開発・提供するディープラーニングやAIの研究・開発に特化した超高性能なスーパーコンピュータ・システムです。最新のGPUや高速なインターコネクトを備え、大規模言語モデルなどの学習を効率的に行える点が特徴です。
テンソル並列化
テンソル並列化は、巨大なAIモデルの単一の重みテンソルを複数のGPUに分割して計算を高速化する分散処理技術です。パラメータ数が数十億を超える超大規模言語モデルの学習や推論において、メモリ不足を解消し効率的な処理を行うために不可欠な手法となっています。
メモリバス
メモリバスとは、AIの学習や推論を実行するプロセッサとメインメモリの間でデータを転送するための伝送路です。データ転送の帯域幅を決定づける主要な要素であり、近年の巨大なAIモデルにおいて処理速度を左右する重要なボトルネックとなります。