Wasserstein距離とは、確率分布同士の形の違いを測るための数学的な指標です。生成AIの分野では、生成された画像やデータの質を安定して評価するGANの損失関数などに応用され、学習をスムーズにする重要な役割を持っています。
Wasserstein距離とは
Wasserstein距離とは、ある確率分布を別の確率分布に変形するために必要な「最小の労力」を測る指標であり、アースムーバー距離とも呼ばれます。
詳しく解説
Wasserstein距離は、輸送最適化問題の考え方に基づいて定義されます。確率分布を「山盛りの土」、もう一方を「土を埋める穴」と見なしたとき、土を運ぶ総量と移動距離の積を最小化するコストを計算します。従来のKLダイバージェンスなどの距離測度では、2つの分布が全く重なっていない場合に勾配が消失してしまい学習が進まないという問題がありましたが、Wasserstein距離を用いることで、重なりがない分布間でもスムーズで意味のある勾配を提供できるため、生成AIの学習において非常に重要視されています。
具体例・使われ方
具体的な利用例として、敵対的生成ネットワークの発展形であるWGAN（Wasserstein GAN）があります。ここでは、本物のデータ分布と生成された偽のデータ分布のWasserstein距離を計算し、それを最小化するようにモデルを学習させることで、画像生成の安定性と品質を大きく向上させています。
似た用語との違い
KLダイバージェンスや交差エントロピーなどの一般的な距離・情報量基準は、2つの確率分布が直交している（全く重ならない）場合に正しく距離を測れなくなります。これに対し、Wasserstein距離は分布が離れていても空間的な距離を考慮して滑らかな値を返す点が大きな違いです。
注意点
Wasserstein距離をそのまま厳密に計算することは、計算コストが非常に高いという欠点があります。そのため、実際の機械学習の現場では、1-リプシッツ連続性という数学的な制約を課すなどして近似的に計算する工夫が必要となります。