勾配ブースティングは、複数の決定木を段階的に組み合わせることで高い予測精度を実現する機械学習アルゴリズムです。前のモデルの誤差を次のモデルが学習して補正していく仕組みを持ち、表データを使った分類や回帰のコンペティションなどで広く活用されています。
勾配ブースティングとは
一言でいうと、小さな予測誤りを次々と修正する複数のモデルを連続して作り、最終的に非常に精度の高い予測器を作り出すアンサンブル学習手法です。
詳しく解説
勾配ブースティングは、アンサンブル学習の一種であるブースティングをベースにしたアルゴリズムです。基本となる弱学習器として主に決定木を用います。最初のモデルが予測した結果と実際の正解データとの間にある誤差（残差）を計算し、次のモデルはその誤差を予測するように学習します。このプロセスを繰り返すことで、モデル全体の予測精度を段階的に高めていきます。損失関数の最小化において勾配降下法（Gradient Descent）の考え方を応用している点が特徴で、複雑な非線形関係を持つデータに対しても高い汎化性能を発揮します。
具体例・使われ方
具体的な利用例として、ECサイトにおける商品の売上予測や、金融分野におけるクレジットカードの不正利用検知、医療分野での病気の罹患リスク予測などが挙げられます。特に構造化された表データ（数値やカテゴリが並んだデータ）の予測において、ディープラーニングよりも手軽かつ高精度な結果を得られるため、Kaggleなどのデータ分析コンペティションでも頻繁に使用されています。
似た用語との違い
ランダムフォレストとの違いがよく比較されます。ランダムフォレストは複数の決定木を「並列」に作成してその結果を平均化するのに対し、勾配ブースティングは決定木を「直列（順番）」に作成し、前のモデルの弱点を補いつつ予測を積み重ねる点が異なります。
注意点
過学習（オーバーフィッティング）を起こしやすい点が注意点です。モデルの木を深くしすぎたり学習回数を増やしすぎたりすると、訓練データに対しては過剰に適合するものの、未知のデータに対する予測精度が低下します。そのため、学習率の調整や正則化パラメータの設定、適切な早期終了（アーリーストッピング）の導入が不可欠です。また、計算コストが高く、訓練に時間がかかる場合もあります。