自動微分は、コンピュータプログラムで定義された関数の微分（導関数）を、効率的かつ正確に計算する手法です。ニューラルネットワークの学習（バックプロパゲーション）において、各パラメータの勾配を計算するために不可欠な技術です。近似誤差のある数値微分や、式が複雑化しやすい記号微分などの欠点を克服し、ディープラーニングの発展を支えています。
自動微分とは
自動微分とは、コンピュータがプログラムの実行過程を追跡することで、ある関数の微分（導関数）の値を正確かつ高速に自動計算する技術です。ディープラーニングにおけるパラメータの最適化に欠かせない、バックプロパゲーション（誤差逆伝播法）の技術的な基盤となっています。
詳しく解説
機械学習やディープラーニングにおいて、モデルの予測精度を向上させるためには、損失関数の値を最小化するようにパラメータ（重みとバイアス）を更新する必要があります。この更新幅を決定するために、損失関数の勾配を求める計算が必要です。自動微分は、プログラム内の四則演算や基本的な数学関数（sin、log、expなど）の組み合わせを「計算グラフ」として表現し、微分の「連鎖律（チェインルール）」を適用することで、任意の複雑な関数の微分値を効率的に計算します。自動微分には、入力から出力方向へ計算を進める「フォワードモード（前方向モード）」と、出力から入力方向へ逆算する「リバースモード（逆方向モード）」があります。特にリバースモードは、ディープラーニングのように「入力数が非常に多く、出力数が1つ（損失の値）」という設定において劇的に計算量を削減できるため、広く利用されています。
具体例・使われ方
PyTorchやTensorFlowといった主要なディープラーニングフレームワークには、自動微分の機能が標準で組み込まれています。例えば、ユーザーがニューラルネットワークの順伝播（入力から予測値を出力する計算）を記述するだけで、フレームワークが裏側で計算グラフを構築し、自動的に各パラメータに対する勾配を算出します。ユーザーは複雑な微分の数式を手計算で解いたりコードに落とし込んだりすることなく、簡単なメソッドを呼び出すだけで勾配降下法によるパラメータの更新を行うことができます。
似た用語との違い
自動微分は、「数値微分」や「記号微分」と混同されがちですが、それぞれ明確な違いがあります。数値微分は、関数に微小な変化を与えて差分から近似的に傾きを求める手法ですが、桁落ちによる「丸め誤差」が生じることや、入力変数が増えると計算量が爆大になる欠点があります。記号微分（数式微分）は、数式処理によって導関数の数式そのものを導き出す手法ですが、プログラム内の条件分岐（if文など）に対応できず、数式自体が爆発的に複雑化する問題（式の膨張）があります。これらに対し、自動微分はプログラムコードそのものを対象とし、浮動小数点の精度限界まで正確な微分値を効率的に算出できます。
注意点
自動微分は非常に強力ですが、プログラム内に「微分不可能」な処理（例えば、非連続な条件分岐や、離散的な値を出力する関数）が含まれている場合、その地点での正確な勾配を計算できません。このような場合は、近似的な関数で代替するなどの設計上の工夫が必要です。また、リバースモードの自動微分では、逆方向の計算を行うために順伝播時の計算途中の状態（中間値）をメモリに保持しておく必要があるため、モデルが大規模化するほどメモリ消費量が増大するという注意点があります。