カテゴリ分布とは、互いに排反な複数の離散的な選択肢のいずれかが発生する確率を表す確率分布です。機械学習の分類問題などで、出力やデータの偏りを表現するために広く用いられる基本的な概念です。
カテゴリ分布とは
カテゴリ分布とは、あらかじめ定められた有限個の離散的なカテゴリの中から、どれか一つが選ばれる確率をそれぞれ割り当てた確率分布のことです。例えば、サイコロを振ったときに出る目の確率や、画像が「犬」「猫」「鳥」のどれに該当するかを表す際に使用されます。
詳しく解説
カテゴリ分布は、複数の離散的な事象をモデル化するための基本的な確率分布です。機械学習モデル、特に分類タスクにおいて、出力層の活性化関数としてソフトマックス関数が用いられることが多く、この関数によって得られたスコアは各カテゴリに属する確率、すなわちカテゴリ分布として解釈されます。データが持つ不確実性を数学的に扱い、予測の信頼性を定量化する上で極めて重要な役割を果たします。
具体例・使われ方
画像認識AIにおいて、入力画像が「自動車」「飛行機」「船」のいずれであるかを判定する際、AIの出力はそれぞれのクラスに属する確率の総和が1になるカテゴリ分布となります。また、自然言語処理のテキスト生成では、次に続く単語の候補からどの単語が選ばれるかをカテゴリ分布に基づいてサンプリングします。
似た用語との違い
ベルヌーイ分布が「成功か失敗か」の2値のみを扱うのに対し、カテゴリ分布は3つ以上の選択肢を扱える点が異なります。また、試行回数が1回のカテゴリ分布を一般化し、複数回の試行における各カテゴリの出現回数を扱うものは多項分布と呼ばれます。
注意点
カテゴリ分布を用いる際は、選択肢が互いに排反であり、かつすべての確率の総和が必ず1にならなければならない制約があります。また、カテゴリ間の順序関係（大小関係）は考慮されないため、順序データに対してそのまま適用すると情報の損失が生じる点に注意が必要です。