カルバック・ライブラー情報量とは、2つの確率分布がどれほど異なるかを示す指標です。機械学習では真の分布とモデルの予測分布の乖離を測るために広く使われており、交差エントロピーや変分推論などの基盤となる重要な概念です。
カルバック・ライブラー情報量とは
一言でいうと、ある確率分布が別の確率分布からどれくらい離れているか、つまり分布の形の違いや情報のロスを数値化する尺度です。
詳しく解説
情報理論において、真の確率分布Pに対して別の確率分布Qを用いた際に生じる情報の損失量を表します。機械学習の分野では、ニューラルネットワークの出力する予測分布Qが、正解データが持つ真の分布Pにどれだけ近づいたかを評価する目的でよく利用されます。モデルのパラメータを最適化する損失関数の設計において、確率分布の差異を最小化するための数学的な土台として極めて重要な役割を果たしています。
具体例・使われ方
画像生成AIの分野では、生成された画像が持つ特徴の分布と、本物の画像が持つ分布の距離を測る指標の一つとして活用されます。また、強化学習や変分自己符号化器（VAE）において、潜在変数の分布が事前分布から大きく逸脱しないように正則化を行う際にも用いられます。
似た用語との違い
通常の距離尺度とは異なり、カルバック・ライブラー情報量は対称ではありません。つまり、PからQを測った値と、QからPを測った値は一般に一致しないため、厳密には「距離」ではなく「情報量の相対的な違い（ダイバージェンス）」として扱われます。
注意点
前述の通り対称性を持たないため、数式の適用順序を誤ると意図しない結果や解釈につながる点に注意が必要です。また、確率分布のサポート（確率がゼロではない領域）が一致していない場合などに計算が発散することがあるため、実際の応用では平滑化処理などの工夫が必要となる場合があります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月11日 08:11