計算グラフとは、数式や計算処理のプロセスを、ノード（操作）とエッジ（データの流れ）からなる有向グラフで表現したデータ構造です。ディープラーニングにおいて、複雑なニューラルネットワークの順伝播と逆伝播を効率的に自動微分で計算するために不可欠な技術となっています。
計算グラフとは
計算グラフは、一言で言えば「計算のプロセスを視覚的かつ構造的な図として表したもの」です。数学的な数式やプログラム中の演算の順序を、変数や定数を表す「ノード」と、データの流れを示す「エッジ」によって表現し、複雑な計算の依存関係を整理するために用いられます。
詳しく解説
ニューラルネットワークの学習では、膨大な数のパラメータに対する誤差の「勾配」を計算する必要があります。これを行うのが逆伝播というアルゴリズムですが、手動で微分方程式を解くのは極めて困難です。計算グラフを使用すると、各ノードが局所的な微分を行い、それらを連鎖律に基づいて掛け合わせることで、自動微分を効率的に実行できます。計算グラフには、実行前にグラフの構造を固定する静的計算グラフと、実行時に動的にグラフを構築する動的計算グラフの2つのアプローチがあります。
具体例・使われ方
例えば、数式 z = (x + y) * w という計算を考えます。まず a = x + y という加算ノードがあり、その出力 a と w を掛け合わせる乗算ノード z が存在します。これが計算グラフの順伝播です。逆伝播の際は、出力 z から入力に向かって逆方向に微分値を伝播させ、各変数が z に与える影響度を簡単に算出できます。PyTorchやTensorFlowなどのフレームワーク内部でこの処理が自動的に行われています。
似た用語との違い
計算グラフとデータフローグラフは非常に近い概念ですが、前者は数式や微分の計算に特化した表現であるのに対し、後者はより一般的なデータの処理手順や並列処理全般を指すことが多いです。また、ニューラルネットワークそのものの構造図と計算グラフは混同されやすいですが、ネットワーク図は層の接続を表すのに対し、計算グラフは数式レベルのより細かな演算（足し算、掛け算など）の単位まで分解して記述される点が異なります。
注意点
計算グラフ自体は強力なツールですが、グラフの構築と保持にはメモリを消費します。特に非常に深いネットワークを扱う場合、計算グラフ全体をメモリ上に展開することでメモリ不足を引き起こす原因になります。また、動的計算グラフはコードのデバッグが容易である一方、静的計算グラフに比べて実行時の最適化が難しいという側面もあります。