L1正則化とは、機械学習モデルの過学習を防ぐために、モデルの重みの絶対値の和をペナルティとして損失関数に加える手法です。不要な特徴量の重みを完全にゼロにする性質を持つため、重要な変数のみを残す特徴量選択の効果も得られます。モデルの軽量化や解釈性の向上を図る場面で広く活用されています。
L1正則化とは
L1正則化は、機械学習においてモデルの過学習を抑えつつ、不要なパラメーターの重みをゼロにして重要な情報だけを絞り込むための手法です。
詳しく解説
機械学習の学習処理では、訓練データに対してモデルを過剰に適合させる過学習が発生することがあります。L1正則化は、損失関数に各重みの絶対値の総和（L1ノルム）を正則化項として加えることで、モデルの複雑さにペナルティを与えます。このペナルティにより、モデルは予測に寄与しない特徴量の重みを正確にゼロへと収束させる特性を持ちます。これにより、スパースなモデルが生成され、計算負荷の削減やモデルの解釈性向上が実現されます。
具体例・使われ方
例えば、大量の入力項目が存在する医療データの解析において、病気の予測に本当に必要な数個の指標だけを自動的に選別したい場合に用いられます。また、テキスト分類や画像処理など、高次元データから重要な特徴量選択を行いたい場面でも有効です。
似た用語との違い
L2正則化との主な違いは、ペナルティの与え方と重みのゼロ化にあります。L2正則化は重みの2乗の和を加えるため、各重みを全体的に小さくしますが完全にはゼロにしません。一方、L1正則化は重要度の低い重みを完全にゼロにするため、自動的な特徴量選択が行われます。なお、L1正則化を用いた線形回帰手法はLasso回帰と呼ばれます。
注意点
L1正則化は強い特徴量選択効果を持つ一方で、互いに強い相関を持つ複数の特徴量が存在する場合、その中から1つだけをランダムに選び、他の重みをゼロにしてしまう傾向があります。また、データ数に対して特徴量が極めて多い場合や非線形な関係性が強い場合には、予測精度が低下することがあります。