正規化定数とは、確率密度関数や確率質量関数において、全体の確率の総和（または積分値）を正確に1にするために掛け合わせる、または割るための定数のことです。ベイズ統計や確率的生成モデルなどで、非正規化されたスコアや分布を正しい確率分布へと変換する役割を果たします。
正規化定数とは
正規化定数とは、一言でいうと「すべての確率の和や積分を1にするための調整用定数」です。確率分布の計算において、相対的な比率を表すスコアの合計を1に正規化することで、正しい確率として扱えるようにします。
詳しく解説
確率論において、ある事象が起こる確率の合計は必ず1にならなければなりません。しかし、機械学習や統計モデルでは、モデルが出力する値（スコアやエネルギー値）の合計が1にならない「非正規化分布」が扱われることが多くあります。この非正規化分布全体の総和（離散データの場合）や定積分（連続データの場合）を計算し、その逆数を掛け合わせることで、絶対的な確率を表す確率密度関数や確率質量関数を定義できます。特にベイズ統計では、ベイズの定理における分母（周辺確信度・証拠）が正規化定数に該当します。この定数を直接計算することは高次元データや複雑なモデルにおいて計算コストが非常に高くなるため、モデルの学習や推論における大きな課題となります。
具体例・使われ方
例えば、文章生成AIや画像生成モデルなどの確率的生成モデルにおいて、次の単語や画像の生成確率を計算する場面で利用されます。また、物理学の統計力学に由来する分配関数も正規化定数の一種であり、エネルギーベースモデルなどの機械学習手法に応用されています。計算が困難な場合は、マルコフチェーンモンテカルロ法などの近似計算手法を用いて正規化定数を直接求めずに確率分布を扱う技術が利用されます。
似た用語との違い
正規化定数とよく混同される概念に「正則化」があります。正則化はモデルの過学習を防ぐために損失関数にペナルティ項を追加する技術であり、確率の和を1にする正規化定数とは役割が全く異なります。また、データの尺度を一定範囲に収める「データの正規化（Min-Max正規化など）」とも異なります。
注意点
正規化定数の主な注意点は、高次元なデータやパラメータ空間においては積分や総和の計算量が爆発的に増大し、厳密な計算が不可能になる点です。そのため、AI開発では正規化定数を計算せずに処理を行う工夫や、サンプリングによる近似手法の適用が不可欠となります。