弱学習器とは、ランダムに予測するよりはわずかに高い正解率を持つものの、単体では十分な予測性能を発揮できない単純な機械学習モデルのことです。勾配ブースティングなどのアンサンブル学習において、複数の弱学習器を組み合わせることで強力な予測モデルを構築するために用いられます。
弱学習器とは
一言でいうと弱学習器とは、単体では精度が低いものの、多数集めることで強力な予測モデルを作るための基礎となる単純な機械学習モデルのことです。
詳しく解説
機械学習の分野において、弱学習器は決定木の深さを浅くしたものや、単純な線形モデルなどが該当します。単体での予測性能はランダム予測より少し良い程度ですが、計算コストが低く過学習を起こしにくいという特徴があります。アンサンブル学習の一種であるブースティングやランダムフォレストなどの手法では、これら多数の弱学習器を順次または並列に組み合わせます。前のモデルが間違えた予測を次のモデルが補うように学習を進めることで、最終的に非常に高い予測精度を持つ強力なモデルを作り出すことができます。
具体例・使われ方
例えば、顧客の購買予測を行う際に、深さを制限した単純な決定木を弱学習器として大量に作成します。1本目の木が大まかな傾向を分類し、2本目の木が1本目で外しやすかった顧客層を補正し、さらに3本目、4本目と重ねていくことで、複雑な購買行動を高精度に予測するモデルが完成します。
似た用語との違い
高い予測精度を持つ複雑なモデルは強学習器と呼ばれます。弱学習器は単体では実用的な精度が低いのに対し、強学習器は単体で高度な予測を行おうとしますが、過学習を起こしやすいという違いがあります。
注意点
弱学習器単体では複雑なパターンを学習できないため、単独で実務的な予測タスクに用いることはできません。また、組み合わせるアルゴリズムやデータの特性によっては、過学習を引き起こすリスクがあるため注意が必要です。