アムダールの法則とは、プログラムやシステムを並列処理で高速化する際の限界を示す法則です。全体の処理の中で並列化できない部分の割合によって、どれだけプロセッサ数を増やしても達成できる高速化には上限があることを数式で示しています。
アムダールの法則とは
アムダールの法則は、システムの一部を高速化・並列化したときに、システム全体としての速度向上の限界を算出するための法則です。
詳しく解説
コンピュータ科学において、処理にかかる時間を短縮するために複数のCPUやGPUを使った並列処理が広く用いられます。しかし、プログラムの中には並列実行が可能な部分と、直列に順番通り処理しなければならない部分が混在しています。アムダールの法則によれば、たとえ並列化できる部分を無限に高速化できたとしても、直列処理の割合がわずかでも残っていれば、システム全体の高速化はその比率によって頭打ちになります。AIの分野においても、大規模言語モデルの学習や推論を高速化する際、全体の処理効率を見極めるための重要な指標として意識されています。
具体例・使われ方
例えば、あるAIのデータの前処理プログラム全体の10%がどうしても順番に処理しなければならない直列部分であり、残りの90%が並列化可能であると仮定します。このとき、並列部分をいくら強力なGPUを用いて一瞬で終わらせるようにしても、全体の速度向上は最大でも10倍の壁を超えることができません。
似た用語との違い
似た概念にグスタフソンの法則があります。アムダールの法則が「問題の規模を一定にしたままプロセッサを増やしたときの限界」を示すのに対し、グスタフソンの法則は「プロセッサの増加に合わせて処理するデータ量や問題の規模を拡大した場合の効率」に着目している点が異なります。
注意点
アムダールの法則は、実際のハードウェアにおけるメモリの帯域幅や通信の遅延といった物理的な制約を考慮していません。そのため、実際のAIアクセラレータを用いた分散学習の現場では、理論上の限界値よりもさらに早く性能が頭打ちになることが多いため注意が必要です。