フィッシャー情報量とは、確率分布に含まれるパラメータがデータからどれだけの情報を得られるかを示す統計学的な指標です。AIや機械学習の分野では、最尤推推定の精度限界を示すクラメール・ラオの不等式や、確率分布間の距離を測る情報幾何学において重要な役割を果たします。
フィッシャー情報量とは
詳しく解説
確率モデルが持つパラメータを推定する際、データがそのパラメータに対してどれほど敏感に反応するかを数値化したものです。数理的には、対数尤度関数の二階微分の期待値、または一階微分の分散として定義されます。この値が大きいほど、パラメータのわずかな変化が確率分布に大きな違いを生むため、より正確な推定が可能になります。AIや機械学習においては、モデルの学習効率を最大化する最適化アルゴリズムや、確率分布間の距離を測る情報幾何学の基礎として幅広く応用されています。
具体例・使われ方
具体的な利用例としては、ディープラーニングにおけるモデルの学習やパラメータ最適化の効率化が挙げられます。例えば、確率分布間の距離を測る指標であるカルバック・ライブラー情報量の近似計算や、自然勾配法を用いた効率的な最適化においてフィッシャー情報行列が計算され、パラメータ空間の曲率を考慮した精度の高い学習が行われます。
似た用語との違い
シャノン情報量が「個別の事象が持つ不確実性の大きさ（サプライズの度合い）」を表すのに対し、フィッシャー情報量は「確率分布の未知パラメータに関する情報量」を指すという違いがあります。シャノン情報量がデータそのものの確率に着目する一方、フィッシャー情報量はモデルのパラメータ推定の難易度や精度と深く結びついています。
注意点
フィッシャー情報量はあくまで確率分布やモデルの構造、およびパラメータの真値に依存して決まるため、実際の有限データから計算する際には過学習やモデルの誤指定の影響を受ける点に注意が必要です。また、高次元のモデルになるとフィッシャー情報行列のサイズが膨大になり、逆行列の計算コストが非常に高くなるという実用上の課題があります。