K-Lダイバージェンス（Kullback-Leibler Divergence）は、2つの確率分布がどれほど異なっているかを測るための指標です。機械学習や深層学習において、真の確率分布とモデルが予測した確率分布の差を評価する損失関数や最適化の基準として広く活用されています。
K-Lダイバージェンスとは
一言でいうと、K-Lダイバージェンスとは「ある確率分布が、別の確率分布からどれくらい離れているか（情報がどれだけ失われるか）」を定量化する数学的な尺度です。
詳しく解説
K-Lダイバージェンスは情報理論に由来する概念で、確率分布Pと別の確率分布Qの間の差異を測ります。機械学習では、データが持つ本来の分布Pに対し、機械学習モデルが推論した分布Qがどれほど近似できているかを評価するために利用されます。深層学習モデルの学習において、生成モデルの性能評価や分布の近似度を測るための損失関数として欠かせない数学的基礎となっています。
具体例・使われ方
具体的な利用例として、変分オートエンコーダー（VAE）や生成敵対ネットワーク（GAN）などの生成AIモデルの学習が挙げられます。変分オートエンコーダーでは、潜在変数の分布が標準正規分布に近づくようにK-Lダイバージェンスを損失関数に組み込んで最適化を行います。
似た用語との違い
距離（メトリック）と混同されやすいですが、K-Lダイバージェンスは数学的な「距離」ではありません。対称性（PからQへの値と、QからPへの値が同じになる性質）が成り立たないため、厳密には非対称な情報量の差を表す尺度となります。
注意点
K-Lダイバージェンスの大きな注意点は、値が非負であるものの対称的ではないという点です。つまり、基準とする分布をどちらにするかによって計算結果が変わるため、目的の確率分布の設定には注意が必要です。また、確率分布の一部に確率がゼロの領域が存在する場合、計算が発散するリスクがあります。