相互情報量とは、2つの確率変数が持つ共有情報の大きさを測る情報理論の指標です。一方の変数を知ることで、もう一方の変数についてどれだけ不確実性が減少するかを数値化します。機械学習における特徴量選択やモデルの評価など、変数間の非線形な関係を捉えるために広く活用されています。
相互情報量とは
一言でいうと、相互情報量とは「あるデータから別のデータに関する情報がどれくらい得られるか」を定量化する指標です。
詳しく解説
情報理論において、相互情報量は2つの確率変数間の統計的な依存関係を測るために用いられます。エントロピーの概念を基礎としており、2つの変数が完全に独立であれば値はゼロになり、一方が他方を完全に決定できる場合は大きな値を示します。AIや機械学習の分野では、予測に最も役立つ特徴量選択や、データ間の複雑な非線形関係を評価する重要な基準として活用されています。
具体例・使われ方
例えば、画像認識AIにおいて「ある特定のピクセルの色情報」と「画像がネコであるという正解ラベル」との間の関連性を評価する際に使用されます。また、自然言語処理では単語の共起関係を分析し、モデルの予測精度を高めるための特徴量選択に利用されています。
似た用語との違い
相関係数と比較されることが多いですが、相関係数は2つの変数間の「線形な」関係しか捉えられないのに対し、相互情報量は非線形な関係も含めたあらゆる依存関係を評価できるという違いがあります。
注意点
連続値を扱う場合に確率密度の推定が必要となり、計算コストが高くなる点や、サンプルサイズが小さい正確な推定が難しいという限界に注意する必要があります。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月1日 04:01