周辺化とは、多次元の確率分布から不要な変数を足し合わせや積分によって消去し、特定の変数だけの周辺確率分布を求める操作のことです。機械学習や深層学習において、隠れ変数やノイズなどの影響を取り除き、モデルを扱いやすくするために広く利用されています。
周辺化とは
一言でいうと周辺化とは、複雑な確率モデルから一部の変数を取り除き、知りたい変数だけに注目するための数学的処理です。
詳しく解説
周辺化は、確率変数が多数存在する結合確率分布において、関心のない変数をすべて足し合わせる（離散変数の場合）あるいは積分する（連続変数の場合）ことによって実行されます。この操作を行うことで、同時確率分布から個別の変数の確率分布である周辺確率分布を導出できます。機械学習やベイズ推定においては、観測されない隠れ変数や不要なパラメータを周辺化によって消去することで、モデルの計算を効率化し、過学習を防ぎながらデータの本質的なパターンを捉えることが可能になります。
具体例・使われ方
画像認識AIにおいて、画像内の物体の位置や傾きといった未知の要素を周辺化し、物体の種類だけに注目して分類を行うケースがあります。また、自然言語処理のトピックモデルでは、文書に隠された背景トピックを周辺化によって処理し、単語の出現確率をモデル化する際にも用いられます。
似た用語との違い
条件付き確率が「特定の条件が与えられたもとでの確率」を表すのに対し、周辺化は「他の変数をすべて無視（消去）したときの確率」を計算する点が異なります。また、サンプリング手法とは異なり、解析的あるいは数値的に正確な変数の統合を行うアプローチです。
注意点
変数の次元数が非常に高い場合、周辺化に必要な積分や総和の計算量が指数関数的に爆発するという計算上の限界があります。そのため、実際の深層学習モデルでは、変分推論やサンプリングなどの近似手法を組み合わせて周辺化を効率的に近似することが不可欠となります。