最適輸送問題とは、ある分布から別の分布へモノや確率を移動させる際、移動コストを最小化する最適な方法を求める数学的問題です。近年、AIや機械学習の分野において、画像生成モデルでの分布間距離の測定(ワッサースタイン距離)やドメイン適応、生成モデルの評価などに幅広く応用されています。
最適輸送問題とは
最適輸送問題とは、ある場所にある資源(または確率分布)を、最小のコストで別の場所に移動・変形させる最適なルートや割り当てを決定する数理最適化問題です。
詳しく解説
最適輸送問題は、18世紀にフランスの数学者ガスパール・モンジュが土砂の移動問題を定式化したことに始まり、20世紀にカントロヴィッチによって線形計画法の一種として再定式化されました。AIの文脈では、データ群を「確率分布」として捉え、2つの異なる確率分布がどれくらい離れているかを測定する指標(ワッサースタイン距離またはアースムーバーズ距離)として極めて重要な役割を果たしています。これにより、高次元のデータ空間における複雑なデータ形状の幾何学的な差異を、連続的かつ滑らかに評価することが可能となります。
具体例・使われ方
AI分野における代表的な例は、GAN(敵対的生成ネットワーク)の学習を安定させるための「WGAN(ワッサースタインGAN)」での利用です。生成されたデータの分布と実データの分布との距離を最適輸送問題に基づいて計算します。また、異なる環境で集められたデータのズレを補正する「ドメイン適応」や、文章間の類似度を単語の移動コストとして計算する「Word Mover's Distance(ワードムーバーズディスタンス)」などにも活用されています。
似た用語との違い
「KLダイバージェンス」などの従来の分布間距離の指標と混同されますが、KLダイバージェンスは2つの分布の重なりがない場合に値が無限大になり、学習の勾配情報が得られなくなる問題があります。一方、最適輸送問題に基づくワッサースタイン距離は、分布同士が全く重なっていなくても、その間の物理的な距離(移動コスト)を連続的に算出できるため、機械学習モデルの最適化が容易になります。
注意点
最適輸送問題の最大の課題は計算量の多さです。素朴な手法では、データ数に対して3乗のオーダーの計算時間が必要となり、大規模データへの適用が困難でした。これを解決するために「エントロピー正則化」を用いた「シンクホーンアルゴリズム」などの高速化手法が開発されましたが、それでも超大規模なデータセットに対しては計算コストやメモリ消費量が障壁となる場合があります。