情報利得とは、決定木などの機械学習アルゴリズムにおいて、データ分割によってどれだけ不確実性が減少したかを示す指標です。特徴量選定や分類精度の向上に広く用いられます。
情報利得とは
一言でいうと、情報利得とは「あるデータを使って分類を行った際に、どれだけ綺麗にグループを分けられたか（不純度がどれだけ減ったか）を数値化したもの」です。
詳しく解説
情報利得は情報理論における「エントロピー」という概念をベースに計算されます。エントロピーはデータの「乱雑さ」や「不確実性」を表し、値が大きいほどデータが入り交じっている状態を示します。決定木学習では、どの特徴量を使ってデータを分岐させれば最も効率よくターゲットを分類できるかを判断するために情報利得を利用します。具体的には、分岐前のエントロピーから、分岐後の各グループのエントロピーの加算平均を引くことで算出され、この値が最も大きい特徴量を選択して木を成長させていきます。
具体例・使われ方
例えば、メールが「スパムか非スパムか」を分類するタスクを考えます。全メールの半数がスパムという状態はエントロピーが高く不確実性があります。ここで「特定のキーワード（例：無料）」が含まれているかでデータを分割した結果、片方のグループがほぼ100%スパムになった場合、エントロピーは大幅に減少します。この時の減少量が情報利得であり、このキーワードが分類に非常に役立つ特徴量であると判断できます。
似た用語との違い
混同されやすい概念として「ジニ不純度」があります。情報利得の計算のベースとなるエントロピーは対数計算を含むため処理コストがやや高くなりますが、決定木でよく使われるCARTアルゴリズムなどは計算がより軽量なジニ不純度を指標として用いることが一般的です。しかし、データをどのように評価・分割するかという目的においては非常に似た役割を持っています。
注意点
情報利得には、カテゴリの選択肢（カーディナリティ）が非常に多い特徴量（例えば「ユーザーID」など）を過大評価しやすいという欠点があります。IDで分類すると完全にグループ分けできてしまい情報利得は高くなりますが、未知のデータに対して全く汎用性がない過学習を引き起こす原因になります。そのため、情報利得比（Information Gain Ratio）などを用いて補正することがあります。