桁落ち
桁落ちとは、値が非常に近い2つの浮動小数点数の引き算を行った際に、有効桁数が大幅に減少する計算誤差の現象です。AIや数値計算において、非常に小さな変化量を計算する際やニューラルネットワークの勾配計算などで発生すると、精度低下や学習の不安定化を引き起こすため、計算式の工夫などで対処する必要があります。
コンピュータアーキテクチャのAI用語一覧
7件コンピュータアーキテクチャに関するAI用語を7件掲載しています。意味や使い方、関連用語を一覧から確認できます。
キャッシュメモリ
キャッシュメモリとは、CPUやGPUなどのプロセッサとメインメモリの間に配置される高速な小容量メモリです。よく使うデータを一時保存することで、AIモデルの学習や推論処理におけるデータ読み込みの待ち時間を短縮し、システム全体の処理効率を大きく向上させます。
ノイマン型コンピュータ
ノイマン型コンピュータとは、プログラムとデータを同じメモリに格納し、CPUが逐次的に読み出して処理を行う現代のコンピュータの基本構造です。AIの急速な発展に伴い、メモリとCPU間のデータ転送がボトルネックとなる課題も浮き彫りになっています。
メモリ領域
メモリ領域とは、コンピュータやGPU内部でデータやプログラムを一時的に記録・保持するために割り当てられる記憶空間のことです。AI分野では、ディープラーニングモデルのパラメータや学習データ、LLMの推論時に生成されるKVキャッシュなどを配置する場所として重要であり、適切なメモリ領域の管理が計算処理の高速化や効率化に直結します。
ノイマン・ボトルネック
ノイマン・ボトルネックとは、CPUとメモリ間のデータ転送速度がプロセッサの演算速度に追いつかず、システム全体の性能が制限される現象です。AIの発展に伴い、LLMなどの大規模モデル処理における大きな課題となっています。
フォン・ノイマン型コンピューティング
フォン・ノイマン型コンピューティングは、プログラムとデータを同じメモリに格納して順次処理するコンピュータの基本構造です。現代のCPUやGPUの基礎でありAI処理の土台ですが、データ転送のボトルネックが存在するため次世代の脳型コンピューティングへの進化が進められています。
ハーバードアーキテクチャ
ハーバードアーキテクチャとは、データ用と命令用の記憶装置およびバスを物理的に分離したコンピュータの設計構造です。同時にアクセスできるため高速ですが配線が複雑化します。