ブースティングは、複数の予測モデルを直列に結合して予測精度を大きく高める機械学習の手法です。先行するモデルの予測誤差を次のモデルが補正しながら学習を進めるため、高い予測性能を発揮するのが特徴です。データ分析のコンペティションや実務で広く活用されています。
ブースティングとは
ブースティングとは、複数の弱い予測モデルを順番に学習させ、前のモデルが間違えたデータに重みを与えて次のモデルで重点的に修正していくことで、非常に精度の高い1つの予測モデルを作り上げるアンサンブル学習の手法です。
詳しく解説
ブースティングの基本的な仕組みは、まず最初の決定木などの弱い学習器でデータを予測し、予測を外したデータに対して高い重要度を設定します。次に、その修正すべきデータに注目しながら2つ目の学習器を作成します。このプロセスを直列に繰り返すことで、全体の予測誤差を段階的に最小化していきます。バギングがモデルを並列に作成して過学習を防ぐのに対し、ブースティングはバイアスを削減し予測性能の極限を高めることを主眼としています。
具体例・使われ方
顧客の解約予測、クレジットカードの不正利用検知、不動産の価格予測など、表形式データを扱う多様な予測タスクにおいて高い成果を上げています。特にKaggleなどのデータ分析コンペティションでは、勾配ブースティングをベースにしたアルゴリズムが頻繁に勝利を収めています。
似た用語との違い
バギングとは異なり、ブースティングはモデルを直列に学習させる点が最大の違いです。バギングは独立したモデルを並列に学習させて分散を抑えるのに対し、ブースティングは連続的にモデルを結合してバイアスを減少させます。そのため、単体では性能が低い決定木をベースにしても強力な予測器を構築できます。
注意点
ブースティングはモデルの柔軟性が高いため、ノイズや外れ値の影響を強く受けて過学習を起こしやすいという注意点があります。また、モデルの構築を直列に行う性質上、並列化による高速化が難しく、データ量が膨大な場合には学習に長い時間がかかる制約があります。