2つの確率分布がどれだけ異なっているかを測定する尺度です。機械学習や統計学において広く使われ、予測分布と真の分布のズレを計算してモデルを最適化する際の損失関数として重宝されます。特に生成モデルの学習や確率分布の近似において、基準分布からのズレを定量化し、モデルのパラメータを調整するために不可欠な指標です。
KLダイバージェンスとは
KLダイバージェンス（カルバック・ライブラー情報量）とは、2つの確率分布の間の「差異」や「隔たり」を定量的に測定する指標です。
詳しく解説
KLダイバージェンスは、ある基準の確率分布（例えば真のデータ分布）に対して、別の確率分布（例えばモデルによる予測分布）がどれだけ近似できているかを評価します。数式上は、真の確率分布に基づく情報量と、予測確率分布を用いた場合の情報量の差（相対エントロピー）として定義されます。機械学習、特にディープラーニングにおける生成モデルの損失関数や、強化学習のポリシー制御、確率分布間の最適化タスクで不可欠な役割を果たします。
具体例・使われ方
例えば、画像生成AIである変分オートエンコーダーにおいて、潜在変数の分布が標準正規分布（基準となる確率分布）から離れすぎないように制御するために、損失関数の一部としてKLダイバージェンスが計算されます。また、テキスト生成における確率分布の比較や、真のデータ分布にモデルの予測分布を近づけるための学習指標としても用いられます。
似た用語との違い
一般的な距離（ユークリッド距離など）は双方向で対称性（AからBの距離とBからAの距離が同じ）を持ちますが、KLダイバージェンスは対称性を持たないため、厳密には「距離」ではありません。つまり、確率分布Aから見た確率分布Bへの値と、確率分布Bから見た確率分布Aへの値は異なります。この非対称な性質から、距離ではなく「ダイバージェンス（情報の隔たり）」と呼ばれます。
注意点
非対称であるため、計算の順序（どちらの確率分布を基準にするか）によって結果が大きく異なる点に注意が必要です。また、片方の確率分布が0の確率を持つ領域で、もう片方が正の確率を持つ場合、値が無限大に発散することがあります。実務上は、ゼロ除算や無限大への発散を防ぐためのスムージングや微小値の追加が行われます。