ワッサースタイン距離とは、二つの確率分布の形状の違いを測るための数学的な指標です。最適輸送問題の考え方をベースにしており、ある確率分布を別の分布に変形するために必要な「最小のコスト」を計算します。生成AIやデータ解析の分野で広く活用されています。
ワッサースタイン距離とは
一言でいうと、ワッサースタイン距離とは「ある確率分布を別の確率分布へ形を変えるために必要な最小の労力（コスト）を表す距離」のことです。
詳しく解説
ワッサースタイン距離は、確率論や最適輸送理論における重要な概念であり、アースムーバーズディスタンス（EMD）とも呼ばれます。直感的には、「ある場所にある土の山を、別の場所にある土の穴の形へ綺麗に埋め立てるために、土を運ぶ総量と距離の積の最小値」を計算するイメージです。機械学習においては、GAN（敵対的生成ネットワーク）の損失関数としてWGAN（Wasserstein GAN）に導入されたことで有名になりました。従来のカルバック・ライブラー情報量（KLダイバージェンス）やジェンセン・シャノン発散などではうまく測れなかった、お互いに重なりの少ない分布間の距離を滑らかに評価できるという特徴を持ちます。
具体例・使われ方
具体的な利用例として、WGANを用いた画像生成モデルの学習が挙げられます。生成された画像の分布が本物の画像の分布に近づくようにモデルを訓練する際、ワッサースタイン距離を用いることで勾配消失問題を緩和し、学習を安定させることができます。また、自然言語処理における単語埋め込みの比較や、画像間の類似度測定にも利用されます。
似た用語との違い
カルバック・ライブラー情報量（KLダイバージェンス）と比較されることが多くあります。KLダイバージェンスは二つの分布の重なりが少ない場合に無限大になってしまったり勾配が消えたりして学習が不安定になる課題がありますが、ワッサースタイン距離は分布が離れていても滑らかな距離（勾配）を返すため、生成モデルの最適化において優れています。
注意点
ワッサースタイン距離の最大の課題は、計算コストが非常に高い点です。すべての組み合わせにおける輸送コストを厳密に計算しようとすると膨大な計算量が要求されるため、実際の機械学習の実装では近似計算や正則化手法（エントロピー正則化など）を組み合わせて効率化を図る必要があります。