フォン・ノイマン型とは、プログラム内蔵方式を採用し、CPUとメモリを分離してデータと命令を同じ記憶装置に格納するコンピュータの基本アーキテクチャです。現代の多くのAI処理を支える基盤ですが、膨大なデータを扱う生成AIなどの分野ではメモリとプロセッサ間の転送速度がボトルネックになる課題も抱えています。
フォン・ノイマン型とは
一言でいうと、プログラムとデータを同じメモリに保存し、CPUが順次読み出して処理する現代コンピュータの基本的な仕組みのことです。
詳しく解説
フォン・ノイマン型は、数学者のジョン・フォン・ノイマンらによって1940年代に提唱されました。それまでのコンピュータは計算のたびに配線を繋ぎ変える必要がありましたが、プログラムをデータとしてメモリに格納する「プログラム内蔵方式」を採用することで、柔軟かつ効率的な演算処理を可能にしました。CPUが演算装置、制御装置、メモリ、入出力装置の間でデータをやり取りしながら処理を進めるこの構造は、現代のパソコンやスーパーコンピュータ、さらにはAIシステムを動かす基盤プロセッサの多くで採用されています。AI分野においては、膨大なニューラルネットワークの計算を効率よくこなすためにこの構造が基礎となっていますが、近年はデータ処理量が増大するにつれて、CPUとメモリ間の転送速度が性能の限界を決める「フォン・ノイマン・ボトルネック」という課題が注目されています。
具体例・使われ方
AIの学習や推論を処理する一般的なパソコンやサーバ、GPUを搭載したシステムにおいて、プログラムコードと学習用データを主記憶装置に読み込み、プロセッサが順次実行していく一連の動作がフォン・ノイマン型に基づいています。
似た用語との違い
データとプログラムを同じメモリに格納するフォン・ノイマン型に対し、データ用とプログラム用のバスやメモリを物理的に分離した「ハーバード型」というアーキテクチャが存在します。ハーバード型は命令とデータの同時アクセスが可能でデジタル信号処理などに強い一方、一般的な汎用コンピュータやAI向けプロセッサの多くは柔軟性の高いフォン・ノイマン型をベースに発展しています。
注意点
AIの深層学習で扱われるような超巨大なモデルや大量のパラメータを処理する際、プロセッサの演算速度に対してメモリからのデータ転送速度が追いつかないフォン・ノイマン・ボトルネックが発生し、処理効率が低下するという限界があります。