機械学習統計学

正則化項

せいそくかこう · Regularization Term
24 views

正則化項とは、機械学習モデルの過学習を防ぐために損失関数に追加されるペナルティ項のことです。モデルの複雑さやパラメータの大きさを制限することで、訓練データへの過度な適合を抑え、未知のデータに対する予測性能(汎化性能)を高めます。代表的な手法にL1正則化やL2正則化があります。

正則化項とは

正則化項とは、機械学習モデルが過学習を起こさないよう、モデルの複雑さやパラメータの大きさにペナルティを与えるために損失関数へ加える追加の計算式です。

詳しく解説

機械学習において、モデルが訓練データの細かなノイズまで学習してしまうと過学習が発生し、新しいデータに対する予測精度が低下します。正則化項は、予測誤差を示す損失関数に対して「パラメータの大きさ」に応じた数値を加算することで、パラメータが極端に大きくなるのを防ぎます。これによりモデルの挙動が滑らかになり、過度な複雑化を制御できます。重み係数を調整することで、モデルの単純さと適合度のバランスを柔軟に設定できます。

具体例・使われ方

具体的な手法として、不要なパラメータの値を完全にゼロにして重要な特徴量だけを残すL1正則化(ラッソ回帰)や、パラメータ全体を小さく抑えて滑らかなモデルを作るL2正則化(リッジ回帰)があります。例えば、住宅価格予測モデルにおいて、部屋の数や築年数などの膨大なデータから影響度の低い要素の影響を抑える際に活用されます。

似た用語との違い

損失関数全体は「モデルの予測誤差」と「正則化項」の合計で構成されます。損失関数が予測の正確さを評価するのに対し、正則化項はモデルの複雑さを制限する役割を担います。また、ハイパーパラメータ(正則化の強さを決める係数)とは異なり、正則化項自体は数式内のペナルティ計算部分そのものを指します。

注意点

正則化項の効き目を強めすぎると、モデルが訓練データの特徴すら十分に学習できず、学習不足(未学習)に陥るリスクがあります。また、適切な正則化項の種類(L1正則化やL2正則化など)や強度を設定するには、交差検証などを通じて最適なハイパーパラメータを注意深く探索する必要があります。

更新日時: 2026年9月8日 16:11