早期終了（Early Stopping）とは、機械学習や深層学習モデルの訓練において、過学習を防ぐために学習を最適なタイミングで途中終了させる手法です。訓練が進むにつれて検証データにおける損失関数の値が悪化し始めた段階で学習を自動的に停止させます。過剰な計算時間を削減しつつ、未知のデータに対する汎化性能を最大化できる重要な正則化技術の一つです。
早期終了とは
早期終了とは、モデルの訓練中に検証データの評価指標を監視し、過学習が始まる直前の最も汎化性能が高いタイミングで学習を停止させる技術です。
詳しく解説
機械学習モデル、特に多層のニューラルネットワークを訓練する際、エポック数が多すぎると、モデルは訓練データの特徴やノイズに過剰に適合してしまい、過学習が発生します。早期終了は、学習プロセス中に訓練用とは別の検証データを用いて定期的に損失関数や正解率などの性能指標を計算します。訓練データに対する損失が下がり続けていても、検証データにおける損失が増加に転じた場合、モデルの汎化性能が低下し始めたサインとなります。この悪化が一定のエポック数にわたって続いた段階で学習を自動的に終了し、過去最高の性能を記録した時点のモデル重みを保存します。
具体例・使われ方
画像認識モデルや自然言語処理モデルの学習時によく用いられます。例えば、最大1000エポックで設定した深層学習の訓練プログラムにおいて、検証データの損失が連続で改善しなかった場合、早期終了のコールバック機能が働いて自動で途中で訓練を打ち切り、無駄な計算リソースと時間を節約します。
似た用語との違い
L1正則化やL2正則化、ドロップアウトといった他の正則化手法がモデルの複雑さや重みの大きさに直接制約をかけるのに対し、早期終了は「学習エポック数」の調整によって過学習を抑制する点に違いがあります。損失関数にペナルティ項を追加せずに過学習を防げるため、計算コストを抑えた正則化手法として利用されます。
注意点
学習の初期段階では、検証データの損失が一時的に変動・悪化してから再度大きく改善することがあります。評価の監視間隔や許容回数などのハイパーパラメータの設定が不適切だと、まだモデルの性能が伸びる余地があるにもかかわらず学習が中断され、未学習状態に陥る危険があります。