クラメール・ラオの不等式は、統計学において不偏推定量が達成できる分散の理論的な下限を示す不等式です。パラメータ推定の精度限界を評価するために用いられ、機械学習モデルの性能評価や効率的なアルゴリズム設計の基礎となります。
クラメール・ラオの不等式とは
クラメール・ラオの不等式とは、母数(パラメータ)を推定する統計量(不偏推定量)の分散が、どれだけ小さくできるかという限界を示す数学的な定理です。
詳しく解説
この不等式は、どのような不偏推定量であっても、フィッシャー情報量の逆数で表される値よりも小さな分散を持つことはできないという限界を定めています。つまり、データの背後にある確率分布のパラメータを推定する際、理論上これ以上の精度(分散の小ささ)は出せないという「下限」を示します。機械学習においては、モデルのパラメータ推定値がどれほど効率的であるかを評価する基準として重要です。
具体例・使われ方
AIや機械学習の文脈では、確率分布のパラメータを最尤推定などで求める際、得られた推定量がどれほど優れているかを評価するのに使われます。例えば、ガウス分布の平均や分散を推定するアルゴリズムが、理論上の最小分散(クラメール・ラオの下限)を達成している場合、その最尤推定量は「有効推定量」と呼ばれ、最も効率が良いと判断されます。
似た用語との違い
平均二乗誤差(MSE)とは異なり、クラメール・ラオの不等式は「不偏推定量」に限定してその分散の下限を議論するものです。また、ベイズ統計におけるポステリアの分散限界を扱う「ペルツェンドルファー・ラオの不等式」や「ベイズ版クラメール・ラオの不等式」とは、事前分布を考慮するかどうかの違いがあります。
注意点
この不等式が成り立つのは、確率密度関数が正則条件を満たしている場合など特定の仮定がある場合に限られます。また、下限値(分散の最小限界)が存在するからといって、実際の有限サンプルにおいてその限界を達成する推定量が必ず存在しわけではない点に注意が必要です。