オーバーフィッティングとは、AIや機械学習モデルが訓練データに対して過剰に適合し、未知のデータに対する予測性能が低下する現象のことです。過学習とも呼ばれ、モデルが訓練データのノイズや細部まで記憶しすぎてしまうことが原因で発生します。
オーバーフィッティングとは
一言でいうと、オーバーフィッティングとは「過去の問題集を丸暗記したものの、応用問題が全く解けなくなってしまう状態」のことです。
詳しく解説
機械学習モデルの訓練では、与えられたデータから普遍的なパターンを見つけ出そうとします。しかし、モデルの表現力が非常に高い場合や、データ量が少なすぎる場合、モデルはデータ内のノイズや偶然の傾向まで正確に学習してしまいます。その結果、訓練データに対する誤差は最小化されますが、一度も見たことがないテストデータに対しては高い予測精度を維持できなくなります。これはAIの実用化における最も基本的な課題の一つであり、汎用性能を担保する上で避けて通れない問題です。
具体例・使われ方
例えば、犬と猫の画像を判別する機械学習モデルを訓練する場合を考えます。訓練データに含まれる「犬の画像」がすべてたまたま赤い首輪をつけていたとします。オーバーフィッティングを起こしたモデルは、「犬の本質的な特徴」ではなく「赤い首輪がついているかどうか」を学習してしまい、青い首輪をつけた犬を猫と誤認識するようになります。また、株価予測や売上予測のモデルにおいても、過去の限られたデータに無理やり適合させると、未来の予測を大きく外す原因になります。
似た用語との違い
混同されやすい概念として「アンダーフィッティング（未学習）」があります。アンダーフィッティングはモデルが単純すぎて訓練データのパターンすら十分に学習できていない状態を指します。一方、オーバーフィッティングはモデルが複雑すぎて訓練データに過剰適合している状態を指し、両者はちょうど対極の関係にあります。
注意点
オーバーフィッティングを防ぐためには、訓練データとテストデータを適切に分割する交差検証を行ったり、モデルの複雑さを制限する正則化技術を取り入れたりする必要があります。また、データ量を増やすことやデータ拡張を行うことも有効ですが、モデルを評価する際には常に汎用性が失われていないかを確認する注意が必要です。