クラス不均衡とは、機械学習の分類問題において各カテゴリのデータ数に極端な偏りがある状態です。この状態のまま学習するとモデルは多数派クラスを優先し、重要な少数派クラスを見落としやすくなります。オーバーサンプリングや適切な評価指標の導入など、適切なデータ前処理や手法を選択することが精度向上の鍵となります。
クラス不均衡とは
クラス不均衡とは、分類問題の訓練データにおいて、分類対象となる各クラスのデータ数に大きな偏りがある状態のことです。例えば、正常データが99%で異常データが1%しか存在しない場合などを指します。
詳しく解説
機械学習モデルは全データ全体の誤差を最小化するように学習するため、データ数が多い多数派クラスの予測精度ばかりを優先し、データ数が少ない少数派クラスを見落としやすくなります。この問題に対処するため、データを人工的に増やすオーバーサンプリングや、多く存在するデータを減らすアンダーサンプリングといったデータ前処理技術が用いられます。また、学習時の損失関数に重みを設定するコスト考慮型学習も有効です。評価指標においても、単純な正解率ではなく、適合率や再現率、F値などを用いて偏りのあるモデルの性能を正しく評価することが重要となります。
具体例・使われ方
製造業における製品の不良品検知や、クレジットカードの不正利用検知、医療診断における希少疾患の検査などが典型的な例です。これらの現場では正常な事例が大部分を占め、検知したい対象である異常事例は極めて稀にしか発生しないため、必然的にクラス不均衡が発生します。
似た用語との違い
データ不足やラベルノイズと混同されやすいですが、これらは異なる概念です。データ不足は分析に必要な全体のデータ量自体が足りない状態を指し、ラベルノイズはデータに誤ったラベルが付与されている状態を指します。一方、クラス不均衡はデータ量自体は十分にあっても、特定のカテゴリの割合が極端に少ない状態を意味します。
注意点
クラス不均衡を解消するために不適切にデータを加工すると、モデルが過学習を起こしたり、重要で有益な情報を消失させたりするリスクがあります。また、評価指標として正解率だけを使用すると、全てのデータを多数派クラスと予測するだけで高い数値が出てしまい、実際の予測能力を見誤る危険性があります。