過適合（オーバーフィッティング）とは、機械学習モデルが訓練データを学習しすぎた結果、未知のデータに対して正確な予測や分類ができなくなる現象です。モデルが訓練データのノイズや細かな癖まで覚えてしまうことで汎化性能が低下します。モデルの複雑さを抑えたり、正則化の手法を用い役割を最適化したりすることで防止します。
過適合とは
過適合（一言でいうとオーバーフィッティング）とは、機械学習においてモデルが訓練データに過度に適応してしまい、新しい未知のデータに対する予測精度が落ちてしまう状態のことです。
詳しく解説
過適合は、機械学習モデルのパラメータ数が多く構造が複雑すぎる場合や、訓練データの量が不十分な場合に発生しやすくなります。モデルがデータの本質的なパターンだけでなく、偶然含まれるノイズや偏りまで過剰に学習してしまうことが原因です。AIの開発においては、訓練データへの精度を高めるだけでなく、未学習のデータに対しても高い精度を維持する「汎化性能」の確保が極めて重要であり、過適合の回避はモデル設計における中心的な課題となっています。
具体例・使われ方
例えば、過去の売上データを元に将来の需要を予測するAIを作成する際、訓練データの異常値や特異な変動まで完璧に予測できるようにモデルを調整してしまうケースが挙げられます。この場合、過去のデータに対する予測精度は100%近くになりますが、いざ実際の運用の場で新しいデータを入力すると予測が大きく外れてしまいます。
似た用語との違い
過適合と対照的な概念として「未適合（アンダーフィッティング）」があります。過適合が訓練データを学習しすぎて汎化性能を失う状態であるのに対し、未適合はモデルの表現力が不足しているため訓練データの特徴すら十分に学習できていない状態を指します。また、過適合を防ぐアプローチとして学習に制限をかける「正則化」と呼ばれる技術が用いられます。
注意点
過適合は訓練データに対する評価指標を見るだけでは発見できない点に注意が必要です。訓練データでの精度が非常に高くても、評価用のデータで精度が著しく低下している場合に初めて過適合を起こしていると判断できます。そのため、開発時にはデータを適切に分割して検証を行うことが必須となります。