Lasso回帰（ラッソ回帰）は、過学習を防ぐためにL1正則化を導入した線形回帰の手法です。不要な特徴量の係数を完全にゼロにする特徴があり、自動的に変数選択を行うことができます。データが多く特徴量が過剰な場合のモデルの簡素化や、予測精度の向上、解釈性の向上に広く用いられています。
Lasso回帰とは
Lasso回帰（Least Absolute Shrinkage and Selection Operator）とは、機械学習や統計学において、過学習を防ぎつつモデルの解釈性を高めるために、ペナルティ項（L1正則化）を損失関数に加えた線形回帰アルゴリズムの一種です。
詳しく解説
通常の最小二乗法による線形回帰では、すべての特徴量に対して係数を割り当てますが、データの数に対して特徴量が多すぎると過学習を起こしやすくなります。Lasso回帰は、損失関数に対して、回帰係数の絶対値の和にペナルティを課す「L1正則化」を組み合わせます。これにより、重要度の低い特徴量の係数を「完全にゼロ」にする効果が得られます。結果として、不要な変数が自動的に取り除かれ、予測に必要な主要な特徴量のみを残したシンプルで解釈しやすいモデルが構築されます。
具体例・使われ方
例えば、住宅価格を予測するモデルを作る際、「広さ」「駅からの距離」だけでなく、「壁紙の色」「近隣のコンビニの数」など数百もの特徴量がある場合にLasso回帰を適用します。この手法を用いることで、価格予測に本質的な影響を与えない「壁紙の色」などの不要な特徴量の係数が0に設定され、「広さ」や「駅からの距離」といった重要な要素だけが自動的に抽出された実原則的でシンプルな予測モデルを作成できます。
似た用語との違い
混同されやすい概念に「Ridge回帰」があります。Ridge回帰はペナルティ項として「L2正則化」（係数の二乗和）を使用するため、係数をゼロに近づけるものの、完全にゼロにすることはありません。そのため、すべての特徴量を残したい場合はRidge回帰、不要な特徴量を削ってモデルを単純化したい場合はLasso回帰が選ばれます。また、これら両方の特性を組み合わせた「Elastic Net」という手法もあります。
注意点
Lasso回帰は、すべての特徴量のうち真に影響力のある変数が少数であると仮定しています。もし全ての特徴量が均等に少しずつ影響を与えている場合、予測精度が低下することがあります。また、相関関係の非常に高い多重共線性の強い特徴量が複数存在する場合、その中からランダムに1つだけを選択し、他をゼロにしてしまう性質があるため、データ全体の解釈を行う際には注意が必要です。