機械学習モデルを本番環境で運用し続ける中で、時間の経過や環境の変化に伴い、モデルの予測精度が徐々に低下していく現象。訓練時のデータと運用時の実データとの乖離が原因で発生し、予測性能を維持するためには監視や定期的な再学習が必要です。MLOpsにおいて、システムの品質管理を行う上で重要な課題とされています。
モデルドリフトとは
モデルドリフトとは、機械学習モデルの訓練時のデータ分布と、本番運用時の実データの分布が乖離することにより、モデルの予測性能が低下する現象です。
詳しく解説
機械学習モデルは訓練データを基に構築されますが、現実世界は常に変化しています。消費者のトレンド変化、季節要因、法制度の変更などによって、入力データの傾向（共変量シフト）や、入力データに対する正解ラベルの関係性（コンセプトシフト）が変化します。これにより、リリース当初は高精度だったモデルも、時間の経過とともに予測精度が低下していきます。これを防ぐためには、継続的なデータ監視と定期的な再学習を行うMLOpsのプロセスが重要です。
具体例・使われ方
例えば、ECサイトの購買予測モデルにおいて、トレンドの変遷によってユーザーの行動パターンが変化し、おすすめ商品のクリック率が低下するケースが挙げられます。また、融資の審査モデルで、景気変動により貸し倒れのリスクを正確に予測できなくなる現象もモデルドリフトの具体例です。
似た用語との違い
混同されやすい概念としてデータドリフトとコンセプトシフトがあります。データドリフトは共変量シフトとも呼ばれ、入力データ自体の分布が変わることを指します。一方、コンセプトシフトは入力と出力の因果関係が変わることを指します。モデルドリフトは、これらデータ分布の変化が原因となって生じる、モデル全体の予測性能低下という結果を指します。
注意点
モデルドリフトを検知するには本番環境の予測精度を評価する必要がありますが、実際には予測に対する正解データが即座に得られないケースが多く、検知の遅れが生じやすい点に注意が必要です。また、ドリフトを検知したからといって単純に再学習を繰り返すと、一時的なノイズに過学習するリスクもあります。